MITとMIT-IBM Watson AI Labの研究者チームが、ThreeDWorld Transport Challengeを発表した。これは実装されたAIエージェント向けのベンチマークタスクである。課題は、AIエージェントの研究を改善することである。このAIエージェントは、コンピュータービジョンによって誘導されるシミュレートされた移動ロボットを制御して、オブジェクトを拾い上げ、新しい場所に移動させるものである。
課題と一連の予備実験は、arXivに掲載された論文に記載されている。チャレンジテストベッドは、ThreeDWorldプラットフォーム上に構築されている。これは、物理ベースの仮想世界シミュレーションエンジンであり、リアルな画像レンダリングとオブジェクトに対する物理的作用を生成する。課題に参加するエージェントは、多くのオブジェクトを含むシミュレートされた家に配置される。エージェントは、9-DOF関節アームを2つ備える、シミュレートされた移動ロボットを制御する。そして、ガイド、オブジェクト検出、衝突回避に関してコンピュータービジョン（CV）のみを使って、複数のターゲットオブジェクトを集め、それらを目的の場所に輸送するための一連のアクションを計画する必要がある。チームは、機械学習や計画アルゴリズムなど、さまざまなアルゴリズムに基づいていくつかのベンチマークエージェントモデルを開発した。チームは、これらの実験から、純粋な強化学習（RL）エージェントがこの課題に「奮闘」している一方で、階層型計画モデルは「この課題を解決するにはまだほど遠い」と述べた。
たとえば、iRobotの創設者であるRodney Brooks氏など、何人かのAI専門家は、真のAIは、物理的な世界に作用する「具体化された」マシンによってのみ達成できると主張している。しかし、そのような機械は、費用と複雑さの層が問題として加わり、自動運転車の研究の場合、深刻な安全上の懸念がある。さらに、物理世界での実験は「リアルタイム」で実行する必要があるが、純粋な仮想実験ははるかに高速に実行でき、多くの実験を並行して実行できる。
したがって、多くのAI研究者は、シミュレートされた環境と作用する仮想エージェントのみに焦点を当てている。近年、研究者は、具体化されたAI実験のためのいくつかのシミュレーションプラットフォームを開発した。これは、物理ベースのコンピューターゲームエンジンと高品質の画像レンダリングの可用性を利用している。多くの人がUnity3Dゲームエンジン上に構築することを選択した。たとえば、アレン人工知能研究所（AI2）によって作成されたAI2-THOR、あるいはMITとトロント大学のチームによって作成されたVirtualHome環境がある。
ThreeDWorldもUnity3D上に構築されている。これは、2020年に導入され、オープンソース化されたが、リアルな描写のビデオと、高速で正確な衝突シミュレーションを備えた剛体物理学、軟体と流体の物理学を特徴としている。デフォルトでは、ThreeDWorldエージェントはMagnebotと呼ばれるシミュレートされたロボットを使用する。Magnebotは四輪ベースと9の自由度のアームを2つ備えている。Magnebotのエンドエフェクターは、手の代わりに、世界中の仮想オブジェクトに取り付けることができる磁石である。これにより、握ることに関する問題が解消され、ピックアップ作業が簡素化される。
新しいThreeDWorld Transport Challengeのために、チームは15の異なるシミュレートされた家庭環境で構成されるデータセットを開発した。各環境には、家具やその他のアイテムを含む6～8の部屋が連結されている。チームは、仮想Magnebotを制御するための高レベルのモーションAPIも開発した。課題では、エージェントがシミュレートされた家のランダムな場所に配置されたMagnebotを制御し、オブジェクトのセットを目標の場所に移動させる必要がある。エージェントは、制限時間内にできるだけ多くのオブジェクトを移動させる必要がある。Magnebotは一度に2つのオブジェクトしか運ぶことができないため、課題では、エージェントが一度に複数のオブジェクトを転送するために使用できるコンテナがあることも特徴としている。エージェントは、コンピュータービジョンを使用して家を探索し、オブジェクトを見つけ、衝突を回避する必要がある。
課題に対する結果のベースラインを提供するために、研究者はいくつかのエージェントモデルを実装し、15の仮想住宅のうち10でトレーニングし、テスト用に5つを提供した。実験の評価指標は、輸送速度であった。制限時間内に目標地点に正常に移動されたオブジェクトの割合である。評価されたモデルのうち、すべてのターゲットオブジェクトを目標に正常に転送できたモデルはなかった。研究者は、このタスクが「非常に挑戦的であり、物理的に現実的なシーンで具体化されたAIの進展を追跡するためのベンチマークとして使用できる」と信じている。
他の研究チームも同様の課題を提起している。コンピュータビジョンとパターン認識に関する2020年の会議で、AI2はRoboThOR Challengeを開催した。最近、FacebookはHabitat Challengeをアップデートした。これには、Habitatシミュレーションプラットフォーム用の2つの具体化されたナビゲーションタスクが含まれている。同じくCVPRと連携して開催されるHabitat Challengeは今年で3年目となる。
ThreeDWorldプラットフォームとThreeDWorld Transport Challengeのコードは、GitHubで入手できる。