2年間のベータ版の後、Googleは、ポーズ検出APIの改善とともに、iOSとAndroid向けのMLキットの一般向け提供を発表した。さらに、セルフィーセグメンテーションがパブリックベータ版で利用できるようになった。
AndroidとiOSの開発者がアプリ内で機械学習を簡単に使用できるようにするために、2018年にMLキットをリリースしました。過去2年間で、ビジョンと自然言語処理ベースのユースケースの両方を支援するために、APIのセットを急速に拡張してきました。
MLキットのビジョン関連の安定化済みのAPIには、テキスト認識、顔検出、バーコードスキャン、画像ラベリング、オブジェクトの検出と追跡、デジタルインク認識がある。自然言語機能には、言語識別、テキスト翻訳、スマート返信がある。
MLキットに追加された最新の機能には、セルフィーセグメンテーション、ポーズ検出、エンティティ抽出がある。ただし、これらは依然としてベータ品質と見られている。
セルフィーセグメンテーションは以前はクローズドベータ版でしか利用できなかったものである。それを使用すると、セルフィーの背景を前景の人物から分離できる。これは、視覚効果を適用したり、背景を完全に置き換えたりするのに役立つ。セルフィーセグメンテーションは、静止画とビデオ映像の両方に適用できる。
セルフィーセグメンテーションAPIは入力画像を取得し、出力マスクを生成します。マスクの各ピクセルには、[0.0, 1.0]の範囲のフロート番号が割り当てられます。数値が1.0に近いほど、ピクセルが人を表すという信頼度が高くなり、数値が低い場合はその逆です。
MLキットのポーズ検出APIは、最初の発表以来、ユーザの体の33ポイントの骨格マッチを提供できるものである。典型的なフィットネスやヨガのポーズなど、より多くのポーズを認識できるように改善されてきた。さらに、新しいAPIは、元のサイズの半分の小さいモデルを使用する。Z座標のサポートを追加して、ユーザの体の一部が腰の前にあるか後ろにあるかを判断できるようになった。ポーズ検出を使用する注目すべきユースケースの1つは、特定のポーズの分類である。Googleは、完全なチュートリアルとサンプルアプリを提供しており、分類子を使ってどのように繰り返しをカウントするかを示している。
MLキットを使ってみる場合には、GoogleのMLキット開発者ポータルのサンプルセクションにアクセスしてください。