Pose Detectionは、当初はML Kitアーリーアクセスプログラムで利用可能であったが、正式にML Kitの一部になった。ライブラリは、顔のランドマーク、手、足などの人体を追跡できる。
ML Kit Pose Detection APIは、コンピュータービジョンと機械学習を組み合わせて33の2次元のボディランドマークを推定するGoogleのBlazePoseパイプラインに基づいている。これは、Googleによると、キーポイント検出にCOCOデータセットを使った身体ポーズに対して、現在の標準を大幅に改善したことを示している。
COCOキーポイントは、足首と手首のみにローカライズされ、フィットネスやダンスなどの実用的なアプリケーションに不可欠な、手と足に対する拡張と方向の情報が欠如しています。手、顔、足などのドメイン固有のポーズ推定モデルを使った今後のアプリケーションに対しては、より多くのキーポイントを含めることが重要です。
BlazePoseは、すでに利用可能なBlazeFaceとBlazePalmのトポロジーの上に構築することにより、この結果を実現する。これらのトポロジーは、顔と手のモデルを作成するために使用されている。BlazePoseは、CPU推論のみを使用すると、携帯電話でリアルタイムのパフォーマンスを実現する。GPU推論を使用すると、顔や手の追跡のために後続のMLモデルを実行することもできる。
BlazePoseには、高速モデルと精密モデルという2つの異なるMLモデルがある。どちらのモデルも、フレーム内の1人の人物の存在のみをサポートし、14フィート（4メートル）未満の距離で、頭が見えるときに正しく動作する。
「高速」モードを有効にすると、Pixel 4などの最新のAndroidデバイスではおおよそ30 FPS以上のフレームレートが期待できます。また、iPhone Xなどの最新のiOSデバイスでは45 FPSのフレームレートが期待できます。「精密」モードを有効にすると、両方のタイプのデバイスでより安定したx、y座標を期待できるが、全体的にフレームレートは遅くなります。
Googleは、ML Kit Pose Detectionの適用先として、フィットネスやヨガのトラッカーなど、家でアクティブに過ごすために役立つアプリをターゲットにしている。いずれにせよ、アプリケーションはそれだけでなく、拡張現実、手話認識、全身ジェスチャーコントロールなどもある。
興味のある開発者は、AndroidとiOS向けのGoogleサンプルアプリにアクセスして、この新しいテクノロジーを試してみることができる。