Apache Software Foundation(ASF)は先頃、分散ディープラーニングフレームワークのSINGAが、プロジェクトの成熟性と安定性の向上によってトップレベルプロジェクト(TLP)に到達したと発表した。SSINGAは銀行や医療など、いくつかの分野の企業で既に採用されている。
National University of Singaporeがオリジナルを開発したSINGAは、2015年3月にASFのインキュベーションに参加していた。ディープラーニングモデルのトレーニング作業をマシンクラスタに分散して、モデルのトレーニング時間を削減するためのフレームワークを提供するSINGAは、学術研究用のプラットフォームとしての利用だけでなく、CitigroupやCBREの商業アプリケーションとして、さらには糖尿病前症状(pre-diabetes)患者の支援アプリなど、医療アプリケーションでも使用されている。
ディープラーニングモデルの成功には、数十万の画像を備えたImageNetのような、極めて巨大なデータセットの使用が鍵となる。複雑なモデルになれば、そのパラメータは数百万にも及ぶ。Googleの自然言語モデルであるBERTは3億のパラメータを持ち、30億近いワードによってトレーニングされている。しかしながら、このトレーニングの完了には数時間、時には数日を要することも少なくない。このプロセスをスピードアップする手段として、クラスタマシン上に分散した並列コンピューティングが使用されるようになっている。SINGAを開発した研究グループのリーダであるBeng Chin Ooi教授は、次のように話している。
分散コンピューティングを活用したディープラーニングのスケールアップが必要です ... ディープラーニングモデルは一般的に巨大で、大規模なデータセットによってトレーニングされるため、単一GPUでは数百日を要する場合もあるのです。
分散ディープラーニングには、広く利用されている2つの並列化ストラテジがある。入力データをサブセット化して複数のマシンで実行するデータ並列化と、複数のマシンでニューラルネットワークモデルの異なるセクションをトレーニングするモデル並列化だ。SINGAはこの2つのストラテジをサポートするだけでなく、組み合わせて使用することも可能である。これらのストラテジには通信と同期に関わるオーバーヘッドが伴うと同時に、クラスタ内のマシンの作業のコーディネートも必要となる。SINGAはこのオーバーヘッドを最小化するため、いくつかの最適化を実装している。
トップレベルプロジェクトとして受け入れられたということは、SINGAがソフトウェアの品質やコミュニティに関連するいくつかのマイルストンを通過したということであり、理論上はソリューションとしてより魅力的なものになったという意味になる。その一方で、採用上の障害のひとつとして考えられるのが、KerasｍなどのニューラルネットワークモデリングAPIがすでに存在するにも関わらす、SINGAの設計者たちが独自APIの実装を選択したことだ。対照的に、Uberがオープンソース公開しているHorovodフレームワークでは、最もポピュラーなディープラーニングフレームワークであるTensorFlowとPyTorchで記述された既存のモデルを移植することが可能になっている。特にPyTorchは、最近の研究論文で中心的に使用されているフレームワークだ。
ASFには他にも、SparkやIgniteといった、マシンラーニングをサポートするトップレベルの分散データ処理プロジェクトがいくつかあるが、SINGAがこれらと違うのは、特にディープラーニングの大規模モデル用に設計されていることだ。さらにASFでは、TensorFlowやPyTorchと同じようなディープラーニングフレームワークであるMXNetもホストしているが、現在はまだインキュベーションの状態である。AWSは2016年にMXNetをフレームワークとして採用すると発表したが、いまだ広範な支持を得るには至らず、KDNuggetの投票でも2パーセント以下に留まっている。
Apache SINGAバージョン2.0は2019年4月にリリースされた。ソースコードはGitHubで公開されており、対応中のイシューの一覧はSINGAのJiraプロジェクトで管理されている。ASFによると、近い将来の新機能として、"5Gを備えたエッジデバイス上のディープラーニングを対象とするSINGA-lite、(AIに詳しくない)各分野の専門家がAIを使用するためのSINGA-easy"が考えられている。