EC2上でApache Mesosの自動デプロイが可能になった。Apache Mesosはクラスタのリソース全体を,複数のデータ処理フレームワークで共有するオープンソースツールである。使用されているのは,ビッグデータの新興企業Mesosphereが提供するElastic Mesosという,新しいWebサービスだ。
このサービスは,ZookeeperやHDFSなどといったMesosが扱うものを,すべてAmazon EC2インスタンスに対してインストールして,即時運用可能なクラスタを提供してくれる。その意味では,AmazonのElastic MapReduceと本質的には類似している。しかもその上,Elastic Mesosに関する費用はまったく必要ない。ユーザはEC2の使用料のみ負担すればよいのだ。Elastic Mesosでは現在,提供リージョンをus-east-1に限定した上で,提供クラスタのサイズをオンデマンドインスタンス価格別に,6ないし18の m1.largeインスタンスからなる構成のみとしている。
MesosクラスタのデプロイはElastic Mesos UIを通じて行うことができる。必要なクラスタサイズの指定,EC2認証の設定,通知用Eメールアドレスの設定,という3つのステップを実行するだけで,その他には何も必要ない。所要時間はEC2インスタンスのプロビジョニング時間によってまちまちだが,Meosphereでは目安として,クラスタ設定完了まで20分程度という時間を公表している。
Mesosは当初,カリフォルニア大学バークレー校で研究プロジェクトとして開発された。その後Twitterの手で,同社の爆発的な拡大に対処するための機能を完備したプラットフォームへと変化した。Twitterの技術担当副社長であるChristopher Fry氏が “Twitter版のEC2” とも表するMesosは現在,Apacheのトップレベルプロジェクトでもある。Mesosphereの創設者であるFlo Leibert氏とTobi Knaup氏は以前,TwitterとAriBnbで働いていた。両社がMesosの最大ユーザであることを考えれば,MesosphereがMesos関連製品を開発することは理にかなった選択だ。毎月拡大するMesosユーザのリストを見れば,両社以外にもVimeoやOpenTableなどのビッグネームに加えて,バークレー校でも現在はMesosを採用していることが分かる。
Elastic MesosはApache Whirrと類似している。Apache Whirrはクラウド上のサービスの実行と管理を行うオープンソースライブラリであるが,Mesosをサポートしていない。さらにはElastic Mesosが自己完結型サービスであるのに対して,Whirrはクラスタのライフサイクル全般において,システム管理者による関与をより重要視しているという違いがある。
今回の動きは,これまでHadoopのYARNと混同されることの多かったMesosにとって,採用の主流へと向かう上での貴重な一歩になる。クラスタを効果的かつシームレスに共有するという目標は共通だが,Hadoop 2のスケジューラのデファクトとなったYARNの方が,普及率でははるかに先行する形となっている。
Twitterでのコミュニティの反応は概ね良好ではあるが,採用が進むかどうかは今後を見なければならない。すでに2013年12月のSpark Summitでは,Elastic MesosでSparkを実行するためのチュートリアルが実施されて,Sparkコミュニティから好評を得ている。