2010年の Hadoop Summit で、Amazon の Elastic MapReduce (EMR)のGeneral Manager である Peter Sirota氏の基調講演があった。EMRは、Amazonによるホスト型Hadoop製品で、webベースの管理ツールを含んでいる。氏は、彼らの顧客に共通な以下のユースケースを概略した:
- データマイニングとビジネス・インテリジェンス、その中には、ログの処理、クリック履歴分析、類似分析、そしてターゲットを絞った広告（彼が言うところの「巨大なユースケース」）を含む。
- 特にPig と Hive を使ったデータウェアハウス
- 生物情報科学（ゲノム分析）
- 金融シミュレーション（例：モンテカルロ シミュレーション）
- ファイル処理（例：jpegのサイズ変更）
- webインデクス
Sirota氏は、顧客はAmazon S3 ストレージ システムに数100PB（ペタバイト）保存できる，と言った。彼のアナウンスによると、今、Amazonは、 Hadoop 0.20ベースの新しいスタックをサポートし、同時に、「すぐには、消えない」Hadoop 0.18 ベースのスタックもサポートする。Amazon EMR ソフトウェアは、彼らの管理コンソールに統合され、Amazonの S3クラウド ストレージ施設とネイティブに連携している。
| 新スタックk |
旧スタック |
| Hadoop 0.20 | Hadoop 0.18 |
| Pig 0.6 | Pig 0.3 |
| Hive 0.5 | Hive 0.4 |
| Cascading 1.1 | Cascading 1.1 |
Sirota 氏が言うには、顧客は、動作中クラスタの更なる柔軟性、より良いアプリケーション開発ツール、分析論の改善そしてサポート オプションの改善を望んでいる。それから彼は、各領域での新しい機能とパートナーシップを公表した。彼が言うには、顧客が動作中のクラスタにノードを増やしたり、減らしたりできるようになる。既に動作しているジョブの実行が調整できるので，終了するまでに後6時間かかると予想されるジョブの計算能力を倍にして、3時間で終わるようにできる。彼はまた、この機能により、顧客は，クラスタのサイズを都合よく変更できるので、Hiveを使ってクエリに答えるには、少数のノードで処理し、Hadoopシステムをアップデートための、より大きなバッチ処理には、クラスタを大きくできる，そしてこの間、同じEMRクラスタは動作を続けたままである、と言った。
氏は、またEMRのスポット価格が近々決まると、予告した。EC2キャパシティの マーケット価格 をEMRに拡張したものである。これによって、追加ノード数を競売できるようになる。もし競売価格でキャパシティが入手できるなら、EMRクラスタにノードを追加し、もしマーケット価格が競売価格より高くなったらノードを減らすことができる。彼が話したのは、あるジョブを、オンデマンドのノードを4つと追加でスポットのノードを5つ加えて、行なう例だった。このオプションは、計算を終わらせる時間について、もっと柔軟性のある環境に対しては、、コスト削減をもたらす。
氏は、またEMRのサポートに、新しく silver と gold premiumレベルが加わったことを公表した。 goldサポートは、 7x24 で、緊急の問題に対しては、1時間のレスポンス時間を保証する。Amazonのパートナーとして、Karmasphere が開発ツールと監視、Datameer がビジネス ユーザ分析、そして Microstrategy がEMRサポートを含んだ、Hadoopサポート全般とHiveによるビジネスインテリジェンス ツールとの統合を提供する、と氏は語った。
Amazonは、 Hadoop Summitで Elastic MapReduceの顧客によるパネルを主催したが、Razorfish, Netflix, Spiral Genetic, そして Coldlight Solutions からのケーススタディを呼び物にした。 James Hamilton氏によってまとめられている。
Amazon は、 Elastic MapReduce の改善に、引き続き相当の投資をしていることを示した。またホスト型製品で作られている大規模なアプリケーションについて、興味ある見識も、ある程度明らかにしてくれた。