Apple Vision Pro の R1 チップとは何ですか?どのように機能しますか?

Vision Pro には、すべてのオンボード センサーのリアルタイム データ処理専用の新しい Apple チップ、R1 チップが搭載されています。 これは、目、手、頭の追跡、ビデオ パススルー モードでのユーザー環境の遅延のないレンダリング、およびその他の VisionOS 機能を担当します。

R1 は、メイン プロセッサから処理負荷を軽減し、パフォーマンスを最適化することで、ヘッドセットが拡張現実モードまたは仮想現実モードのどちらで使用されている場合でも、乗り物酔いを感知できないレベルまで軽減します。 Apple R1 チップの仕組み、メインの M2 チップとの比較、サポートされる Vision Pro 機能などについて詳しく見ていきましょう。

AppleのR1チップ

AppleのR1チップとは何ですか?どのように機能しますか?

Apple R1 (メインの M2 チップではありません) は、12 台のカメラ、5 台のセンサー、6 台のマイクを介して Vision Pro に送信される継続的なリアルタイム データ ストリームを処理します。

2 つのメイン外部カメラがあなたの世界を記録し、1 秒あたり 10 億ピクセル以上をヘッドセットの 4K 画面に表示します。 さらに、サイドカメラ 2 台、底部カメラ 2 台、赤外線照明装置 2 台により、暗い場所でもさまざまな位置から手の動きを追跡できます。

外向きのセンサーには、LiDAR スキャナーと Apple TrueDepth カメラも含まれており、周囲の深度マップをキャプチャして、Vision Pro が空間内のデジタル オブジェクトを正確に特定できるようにします。 内部には、各画面の周囲に LED ライトのリングがあり、VisionOS ナビゲーションの基礎となる目の動きを追跡する 2 つの赤外線カメラがあります。

R1 の役割は、慣性測定ユニットを含むすべてのセンサーからのデータを、感知できないほどの遅延で処理することです。 これは、空間体験をスムーズかつ信頼できるものにするために重要です。

Apple R1 は M1 や M2 と比べてどうですか?

M1 と M2 は、Mac コンピューター向けに最適化された汎用プロセッサです。 R1 は、スムーズな AR 体験を実現するために設計された狭焦点コプロセッサです。 M1 や M2 よりも速く作業を完了し、遅延のないエクスペリエンスなどの利点を提供します。

なお、Apple は R1 の CPU コアと GPU コアの数を指定しておらず、CPU 周波数と RAM の詳細も明らかにしていないため、R1、M1、M2 を直接比較することは困難です。

R1 の主な焦点領域は、目と頭の追跡、ジェスチャー、LiDAR センサーによるリアルタイム 3D マッピングです。 これらの計算集約型操作をオフロードすることで、M2 はさまざまな VisionOS サブシステム、アルゴリズム、アプリケーションを効率的に実行できるようになります。

Vision Pro R1センサーの主な特徴

R1 の主な機能は次のとおりです。

• 高速処理: R1 の特殊なアルゴリズムと画像信号処理は、センサー、カメラ、マイクの入力を理解するために最適化されています。
• 低レイテンシ: 最適化されたハードウェア アーキテクチャにより、レイテンシが極めて低くなります。
• 電力効率: 効率的なメモリ アーキテクチャと TSMC の 5nm 製造プロセスにより、R1 は特定のタスク セットを処理するときに最小限のエネルギーしか使用しません。

欠点としては、Vision Pro のデュアルチップ設計と R1 の高度な性質により、ヘッドセットの価格が高くなり、バッテリー寿命が 2 時間に制限されることです。

R1 は Vision Pro にどのような利点をもたらしますか?

R1 は、まさに「完璧」なほど正確な視線と手の追跡が可能です。 たとえば、VisionOS を操作するには、ボタンやその他の要素に視線を向けるだけです。

Vision Pro では、ジェスチャを使用して項目の選択、スクロールなどを行います。 視線と手の追跡の洗練性と精度により、Apple のエンジニアは物理的なコントローラーを必要としない複合現実ヘッドセットを開発することができました。

R1 のトラッキング精度と最小限の遅延により、仮想キーボードでのエアタイピングなどの追加機能が可能になります。 R1 は、ユーザーの周囲に空間コンピューティング キャンバスを作成するために重要な、信頼性の高いヘッド トラッキングもサポートしています。 ここでも、精度が重要です。頭をどのように傾けたり回転させたりしても、すべての AR オブジェクトの位置が維持されるようにする必要があります。

空間認識力も体験に貢献するもう一つの要素です。 R1 は、LiDAR センサーと TrueDepth カメラから深度データを取得し、リアルタイムの 3D マッピングを実行します。 深度情報により、ヘッドセットは壁や家具などの環境を理解できます。

これは、仮想オブジェクトの固定配置を指す AR の永続性にとって重要です。 また、Vision Pro は、ユーザーが物理的な物体にぶつかる前にユーザーに通知し、AR アプリケーションでの事故のリスクを軽減するのにも役立ちます。

R1 Sensor Fusion は AR 酔いをどのように軽減するのでしょうか?

Vision Pro のデュアルチップ設計により、VisionOS オペレーティング システムとアプリを実行するメインの M2 チップからセンサー処理の負荷が軽減されます。 Vision Pro のプレスリリースによると、R1 は外部カメラから内部ディスプレイに画像を 12 ミリ秒で送信します。これは瞬きの 8 倍の速さで、遅延を最小限に抑えます。

レイテンシーとは、カメラが捉えた画像とヘッドセットの 4K 画面に表示される画像との間の遅延を指します。 ラグが短いほど良いです。

乗り物酔いは、脳が目から受け取る入力と内耳が知覚する入力の間に大きな遅れがある場合に発生します。 これは、遊園地、船やクルーズ船、VR デバイスの使用中など、さまざまな状況で発生する可能性があります。

VR は感覚の矛盾により気分が悪くなり、方向感覚の喪失、吐き気、めまい、頭痛、眼精疲労、長時間の座位、嘔吐などの乗り物酔いの症状を引き起こす可能性があります。

VR は眼精疲労により目に悪影響を及ぼす可能性があり、その症状には目の痛みやかゆみ、複視、頭痛、首の痛みなどがあります。 ヘッドフォンを外してから数時間以内に、これらの症状の 1 つ以上を感じる人もいます。

注: 経験則として、VR デバイスは、乗り物酔いを避けるために、少なくとも 1 秒あたり 90 回 (FPS) ディスプレイを更新し、画面の遅延を 20 ミリ秒未満にする必要があります。

R1 は、遅延がわずか 12 ミリ秒で、感知できないレベルまで遅延が低減されると言われています。 R1 は乗り物酔いの影響を最小限に抑えるのに役立ちますが、Vision Pro テスターの中には、ヘッドセットを 30 分以上装着した後に乗り物酔いの症状を経験したと報告した人もいます。

専用のApple Siliconコプロセッサが大きなメリットをもたらす

Apple は特殊なプロセッサに精通している。 同社のチップチームは長年にわたり、業界が羨むモバイルおよびデスクトップ チップを生産してきました。

Apple チップは、特定の機能を処理するために専用のコプロセッサに大きく依存しています。 たとえば、Secure Enclave は生体認証データや支払いデータを安全に管理でき、Neural Engine はバッテリーを損傷することなく AI 機能を高速化できます。

これらは、メインプロセッサを使用してすべてを実行するのではなく、適切なタスクセットを完了するために高度に集中したコプロセッサを使用することで何を達成できるかを示す完璧な例です。