先日のWWDC 2019で発表されたARKit 3は、人と仮想オブジェクトを統合して、人の動作をAR体験に注入する操作のサポートを追加することにより、さらに没入感のあるARエクスペリエンスへと進んでいる。その他の新機能としては、複数の顔追跡、前面カメラと背面カメラの同時使用のサポート、コラボレーティブセッションなどがある。
ピープルオクルージョン(People Occlusion)を使用すれば、同じARシーンに人と仮想オブジェクトを混在させた、リアルな没入効果を実現可能になる。ARKit 3は、人がオブジェクトに対してどの位置にいるのかを理解して、あたかも目の前にいるかのように配置することができるのだ。これはARKit 2に対する重要な変更であり、シーンに追加された仮想オブジェクトが、カメラでキャプチャされたイメージの前に常にあるように見せることで、あたかもシーンに浮かび上がっているような印象を与えることが可能になっている。ARKit 3のこの新機能によって、ARの世界に配置された仮想オブジェクトの周辺(さらには中)を、人が動き回るように見せることができる。
モーションキャプチャとは、人体の動きを追跡可能にすることによって、その認識をさらに高め、同じARシーンの入力として使用するものだ。デモビデオでAppleは、本物の人とロボットを合成して表示して、優れた応答性と精度で人の体の動きを模倣することを可能にしていた。デモの規模から判断すると、モーションキャプチャはまだ初期段階にあると考えられるが、人体の動きをARシーンへの入力として使用するこの機能には、新たなUXの可能性を数多く開くことが期待できそうだ。Apple自身は、仮想的なボーリング場で巨大なボールを打って、対戦相手の背後にあるボーリングピンを倒すゲームのデモを紹介していた。
ARKitのもうひとつの新機能は、フロントカメラとバックカメラの同時起動である。これは、アプリへの入力とコマンドの斬新な提供方法としての可能性に関わるものと思われる。TrueDepth前面カメラによる顔の動きの検出および追跡機能を活用することで、例えば、ユーザの表情や頭の動きを使用して、バックカメラでキャプチャされたワールドビューに生成された仮想コンテンツと対話することが可能になる。その顔検出に関して言えば、ARKitでは、TrueDepth前面カメラを備えたデバイス上で、最大3つの顔の動きを検出および追跡できるようになった。
さらにARKit 3では、コラボレーションセッション、すなわち、実世界におけるデバイス位置の特定にARKitが使用する、すべての空間マッピング情報を含む自身の世界地図を、他のユーザと定期的に共有するようにARKitに指示することで、共有ARエクスペリエンスを作り上げる可能性を前進させている。ARKit 2で世界地図を送信する場合は、世界地図のスナップショットを作成してシリアライズする適切なタイミングを、事前に自分で選択しておかなければならなかった。ARKit 3では、フレームワークがデータ共有とシリアライズを実行するタイミングを処理してくれるので、ネットワークでデータを送信することのみ考慮すればよい。
さらにARKit 3では、参照画像読み込みの高速化、一度に最大100個の画像が検出可能、自動画像サイズ推定、3Dオブジェクト検出の堅牢化など、既存の機能に対しても多くの漸進的改善が行われている。
ARKit 3は、登録開発者を対象として、Xcode 11およびiOS 13とともにベータ版として提供されている。