Twitter EngineeringはManhattanについて詳細を発表した。Manhattanはリアルタイムマルチテナント分散データベースだ。
開発動機について、ManhattanプロジェクトのリーダーをつとめるPeter Schuller氏は次のように言う。
ここ数年、秒間100万単位の問い合わせを処理し、リアルタイム環境で遅延がほとんどないデータベースが必要になってきました。可用性と性能がきわめて重要になってきたのです。
Manhattanは2年間、運用環境に配備されており、サービスとしてのストレージの上でキー/バリューのインターフェースを公開し、エッジとやり取りするためのグラフベースのインターフェースも提供する。さらに、Hadoopのよるバッチ処理や時系列カウンターサービスなど追加のサービスもManhattan上に構築されている。
Cade Metz氏 (Wired BusinessおよびWired Enterpriseの編集者)によれば、このシステムは、秒間6000ツイート、全世界2億4000万人を処理するために設計された。また、Twitterが厳密な一貫性のあるデータベースを必要としていることも強調されている。
多くのウェブ系企業と同様、Twitterは過去、Cassandraに依存していました。もともとFacebookが開発したCassandraは、数千台のマシンに分散してデータを保持するように設計されたNoSQLデータベースのひとつです。Cassandraでも問題なく処理できていましたが、Twitterはこのままでは新しいマシン上に拡張していくのが難しいと判断しました。
GigaomのDerrick Harris氏がデータベース設計に関する3つのレッスンと題してTwitterのManhattanを開発した3人のエンジニア(Chris Goffinet氏, Peter Schuller氏、Boaz Avital氏)に話を聞いた。この中で、ManhattanがTwitterの内部だけでなくより幅広く使われるようになるかどうかという質問に対しては、次のようなやり取りが行われた。
Manhattanはいつオープンソースになれば、Twitterのような状況ではないアプリケーションを抱えている幅広い開発者にとっても可能な限りの利便性を提供できるだろう、とSchuller氏は言った。
TwitterのManhattanに関する計画はとても興味深いものになるだろう。同社は強くオープンソースへのコミットメントを打ち出している。近い将来、開発チームはホワイトペーパーを公表して技術的な詳細を明らかにするつもりだ。