Amazon Web Service (AWS) チームは,科学分野におけるハイパフォーマンスコンピューティングへのニーズを対象とするリソースセットを 発表した。特に "スポット料金 (spot pricing)" マーケットについて,Amazon クラウド環境における費用対効果の高い大規模コンピューティングの手段として強調している。
科学関係の組織が解析処理を行う場合,膨大な計算量の必要性に直面することがしばしばある。AWS チームの取り上げたケーススタディは,トップ5のある製薬会社が,数百万の複合ターゲット (compound target) に関する分子モデルの実行手段について検討する,というものだ。この製薬会社は Cycle Computing 社の協力を得て,そのタスクを8時間以内で実行できる 30,000 コアのクラスタを AWS 上に展開した。2つの大陸にわたって 27 テラバイト近い RAM を持ち,クラスタのコストは1時間あたり 1279ドルである。Cycle Computing が注目したのは,自社のデータセンタリソースを数週間も独占してしまいそうなこの科学分析を,ユーザは自社内で実行しようとは望んでさえいない,ということだった。このように膨大な計算処理を自社内で対応しようとすると,実行待機状態のCPUセットが数多く必要になることが多い。Pharm Exec とのインタビューで,Microsoft が指摘しているとおりだ。
タンパク質折り畳み (protein folding) で使用される全データを例にとってみましょう。大分子化合物 – 一般にモノクローナル抗体と呼ばれるものの開発に関するデータです。この種の分子の特性は,それが折り畳まれている様子と密接な関係を持っています。そのため検出プロセス中の生成物の一次配列を確認して,それがどのように折り畳まれるかを計算したい,という要求が生じます。このような処理のためには通常,多数の CPU がそのアクティビティに掛かりっきりになる必要があります。タンパク質の折り畳み解析の実施には 70 時間を要することもあるのです。クラウドベースの利用モデルならば,サーバを常に起動させておく必要はありません。要するに,ずっと付きっきりでいる必要はないのです。科学者は必要なときにだけデータを操作すればよく,サーバも必要でないときは立ち上げておかなくてよいのです。
サイズとパフォーマンスが印象深いだけでなく,Cycle Computing の管理するこの計算クラスタは費用対効果も高い。AWS によると,それは スポットインスタンス (Spot Instance) を活用しているためだ。リザーブド (Reserverd) やオンデマンド (On-Demand) EC2 インスタンスとは違い,スポットインスタンスは入札プロセスの一環としてスピンアップされる。 ユーザはスポットインスタンスに対して1時間あたり支払う意思のある価格を決めておく。スポット価格がその設定価格より低ければ,スポットインスタンスが実行される。設定価格を越えれば,スポットインスタンスはすぐに停止される。スポットの価格は,リザーブドあるいはオンデマンドインスタンスに比較して 50% 以上も低い。そのために既存のオンデマンドワークロードの補完,あるいは予算上可能な場合のみ実行する低優先度の計算ジョブ定義,という2つの目的で有力な選択肢になっている。
新たに用意された “Spot and Science” のページでは AWS チームが,スポットマーケットが提供するようなトランジェントなコンピュータリソースを取り扱う上で,アーキテクチャ的に考慮すべき事項について説明している。例えば処理中断の可能性に対するソリューションを提供するものとして,AWS は Map/Reduce,Grid,キューベース基準,チェックポイント基準という 4つのアーキテクチャスタイル をあげている。これらのスタイルで実施されるのは,ワークロードの小さなジョブによる実行時間の短縮と実行中ホスト停止時の再実行,あるいはチェックポイントによる定期的な作業保存の実施,などの対策だ。
AWS の “Spot and Science” ページにはケーススタディ,サンプルユースケース,コスト削減分析,チュートリアル,アーキテクチャガイダンスなどが紹介されている。科学分野に限らず,クラウドをハイパフォーマンスコンピューティング(HPC)に使用しようとするユーザであれば,これらのユースケースから参考になる情報を見つけることができるだろう。以下は HPC in the Cloud サイトからの引用である。
薬品会社においてクラウド採用率が比較的高いことは,その他 – 治療法の発見や健康増進などに関連を持たない – 企業にとってこの産業が,現実的なクラウド利用に関する識見を得るための手段となる,という意味があります。