Amazon、AWSの深層学習フレームワークとしてMXNetを選択

AmazonのWerner Vogels氏は先週、深層学習ライブラリMXNetを深層学習フレームワークとして公式に採用し、AWSはオープンソースコードへの貢献度向上、ドキュメントの改善、可視化・開発・移行のためのツールのサポートを通して、その長期的な成功に貢献することを発表した（日本語記事）。

Vogels氏は、深層学習と呼ばれる機械学習が、明示的にアルゴリズムをプログラムすることが実現不可能な多くの計算タスクで利用されていると述べた。不正検出、レコメンデーション、在庫管理、不正なレビューの検出といった領域だ。また、検索、自律ドローン、配送センターのロボット、文章や音声の認識でも広く使われている。彼はどの深層学習フレームワークを選ぶか検討するために用いた3つの要素について述べた。それは、スケーラビリティ、開発スピード、移植性だ。

Amazonが評価し、AWSでサポートされている深層学習パッケージには、Caffe、CNTK、MXNet、TensorFlow、Theano、Torchがある。AWSはスケーラブルなフレームワークとしてMXNetを選んだ。AmazonはMXNetへのさらなる投資をオープンソースコミュニティに呼びかけている。AWSが機械学習プラットフォーム開発にとるアプローチは、RDSのようなものになるだろうが、次のように語っている。

「深層学習フレームワークの領域でも、私達は最適なEC2インスタンスと適切なソフトウェアツールを提供することで、全ての人気の深層学習フレームワークをサポートします」

Vogels氏は、今年初めにリリースされたDeep Learning AMIと付随するCloudFormationテンプレートについて述べた。AMIは64-bit Amazon Linuxディストリビューションで、CNTKサポート、MXNet、Graphviz、pygal、python pandasのパッケージアップデートがあらかじめインストールされている。また、事前に構築された6つの深層学習フレームワーク、NXNet、Caffe、TensorFlow、Theano、Torch、CNTK、が付属する。NVIDIAのCUDA ToolkitおよびcuDNNライブラリインストーラ、Anaconda、Python 2および3も含まれる。AMIのレビューでは、データ解析エンジニアがGPUアーキテクチャで作業をはじめるのに良い基礎を提供する第一世代のAMIだと指摘されている。

MXNetは当初、ワシントン大学とカーネギーメロン大学 (CMU) によって、畳み込みニューラルネットワーク (CNN) と長期短期記憶ネットワーク (LSTM) をサポートするために開発された。CMUのコンピュータサイエンス学部長、Andrew Moore氏は次のように述べた。

CMUで生まれ育ったMXNetは、私が今まで見てきた中で最もスケール可能な深層学習のためのフレームワークであり、コンピュータ科学のこの領域をこんなにも美しくしてくれる - 異なる学問分野がとてもうまく一緒に動いて、斬新な大規模分散コンピューティング手法で独創的に線形代数が動き、深層学習を全く新しい領域に導いてくれる、という素晴らしい例です。我々はAmazonがMXNetに投資することに興奮していて、MXNetがもっともっと強くなっていくのが待ちきれません。

CMUはGPU数を変えながら、P2インスタンスのクラスタにあるMXNetで、Inception V3をトレーニングした。MXNetは1000層ものネットワークを扱うときも、わずか4GBのメモリしか消費しない。MXNetは、Python、AndroidとiOSでのコンパイルをサポートしたC++、R、Scala、Julia、Matlab、JavaScriptのAPIをサポートする。