Kubecon 2017より - GoogleのDavid Aronchick氏に聞く、マシンラーニングとKubernetesに関するQ&A

テキサス州オースチンで先日閉幕したKubeconには4,000人を越えるエンジニアが参加し、会場はKubernetesで埋め尽くされていた。マシンラーニングとKubernetesの親和性については、そのワークロードとしての性格と、アルゴリズムのトレーニングに必要となる膨大な計算能力のため、多くのセッションがトピックとして取り上げていた。

Kubeflowは、Kubernetes上でのマシンラーニング開発を容易でポータブル、かつスケーラブルにするプラットフォームである。

• Jupyterノートブックの作成と管理を行うJupyterHub
• CPUとGPUの両方に対応するTensorflowトレーニングコントローラ
• Tensorflowを提供するコンテナ

InfoQは、GoogleのプロダクトマネージャでKubeflowのコントリビュータのDavid Aronchick氏と話す機会を得た。氏はKubecon 2017で、Kubernetesとマシンラーニングのシナジに注目したプレゼンテーションを行っている。

InfoQ: MLはKubeconで多くの注目を集めていたようですが、何か特別な理由があるのでしょうか？

Aronchick: MLがほぼすべての産業のあり方を変えつつある、ということは間違いありません。テクノロジの未来を語る明晰な人たちで溢れた大勢の聴衆を前にするたびに、彼らから最新のトレンドと新たな進歩が広められていくのです。Kubeconの4,000を越える参加者は、マシンラーニングの最先端で他の人たちが何をしているのか、この新たな技術でどのように自らのプロセスを改善できるのかを知りたいと願っている人たちです。

そのような状況ですから、すでにたくさんの新たなプロジェクトが世に現れて、この分野で活発な活動をしています。事実、カンファレンスのトラックがマシンラーニングで埋め尽くされた、という発表もたくさんありました。特に言いたいのは、Kubernetesでのマシンラーニングは未来の話ではない、今ここにあるのだ、ということです。

InfoQ: MLとKubernetresとの間に全般的なシナジというものがあれば、それについて説明して頂けますか？

Aronchick: MLは、今日利用可能になった膨大なデータを活用することで、ビジネスの疑問に対して、より正確な答をかつてない程の速さで提供する、まったく新しい方法です。その一方で、MLソリューションを支えるインフラストラクチャは、非常に複雑なものになることが多い上に、いまだ初期段階に留まっており、独自スクリプトや依存性の分析、互換性といった問題を数多く抱えています。また、MLのスタックは複数の場所(開発、トレーニング、運用) に渡ることも多いため、すべての同期を維持する作業は指数級数的に困難になります。

Kubernetesは、このようなMLプラットフォームの大規模な配置と運用を支援する、共通的なプラットフォームを提供します。複数のクラウド内で動作するリッチなオーケストレーション機能によってKubernetesは、複雑なマルチサービスMLワークロードを容易に配置、運用、管理する手段を、データ科学者や開発者、ITプロフェッショナルに与えてくれるのです。

InfoQ: 例えばHelmのチャート(chart)を使ってKubernetesにMLツールをインストールする場合と比較して、Kubeflowを使用する方法はどのように違うのですか？

Aronchick: MLツールのインストールは、実際にはパッケージシステムを通じて行われます。今のところksonnetを使用していますが、その他にもさまざまなデプロイメント手段をサポートできればと思っています。Kubeflowの価値は、複数のツールを簡単に連動させることができる点にあります。現在はさまざまな選択肢(helm、ksonnetなど)を評価している段階ですが、そのインストールの上にもっとリッチなオブジェクトセットを用意して、関連する多くのパッケージが、特別な作業をしなくてもうまく動作するようにしたいと考えています。

InfoQ: もし私がML/データ科学者であったとしたら、Kubernetesレイヤを導入する難しい方法に代えてKuberflowを使用することで、日常的な業務はどのように簡単になるのでしょう？

Aronchick: Kubernetesはオブジェクトとサービスエンドポイントを提供するので、データ科学者ならば自分の問題 — データ問題の解決に集中することができます。Kubeflowを使うために、データ科学者に複雑なKubernetesのセットアップをして欲しいとは思っていませんし、その必要もありません。ラップトップならばminikubeも使えますし、オンプレミスのクラスタならば、会社が提供するKubernetesのインストールも使用できます。クラウドであれば、プロバイダのホストするKubernetesを使えます。どの場合でも、Kubeflowはコマンドひとつでインストールできて、使い慣れたTensorflowサービスやJupyterノートブックが表示されるようになります。

InfoQ: 他のMLツールキットのサポートをKubeflowに統合する方法について、技術的に詳しく説明して頂けますか？

Aronchick: ネイティブなKubernetesツールを使っているので、既存のデプロイメントパッケージに統合するのはそれほど難しいことではありません。私たちはひとつのコミュニティとして集結して、さまざまな選択肢を提供していますが、他のMLツールキットからも直接的に関与してほしいと思っています。彼らのプラットフォームは、彼らが一番よく知っているからです(現在、ほぼすべてのグループと話し合いを持っています)。次にどのツールキットを追加すべきかについても、Githubリポジトリ上でいくつか議論しています。何にせよ、支援をお願いしたいと思います！

InfoQ: コミュニティに対するサポートはどのようになっているでしょう、また、Cloud FoundryやOpenShiftといったプラットフォームも同様にサポートされるのではないかと思うのですが、ロードマップには何が予定されていますか？

Aronchick: KubeflowはKubernetesネイティブですし、今後もそうであるように、私たちは最大限の努力をします。これはつまり、Kubernetes対応であれば、すべてのプラットフォームをサポートする用意があるということです。Cloud FoundryやOpenShiftネイティブなプラットフォームもこれに含まれます(Red Hatはすでにプロジェクトに貢献してくれています)。すでに発表しているように、Cannonical/Ubuntu、Weaveworks、Caicloudなど、多くのプラットフォームプロバイダからもコントリビューションを受けています。私たちはユビキタスなMLスタックの価値を重く受け止めて、データ科学者にとってKubernetesが、必要な時にいつでも使えるものであるようにしたいと思っています。

基調講演などの記録ビデオは、Kubeconのスケジュールページで見ることができる。