今年のO’Reilly Strata Conference + Hadoop Worldは多くの興味深いプレゼンテーションに加えて、主要なベンダがMicrosoft Azure HDInsight、Cloudera Impala、MapR M7に関する発表を行った。
MicrosoftとHortonworksはAzure HDInsight ServiceというAzure上に展開できるHadoopを発表した。MicrosoftのフェローであるDavid Campbell氏によれば、
"ビッグデータはビジネスの答えを提供するものであるべきで、ITを複雑にしてはいけません。Windows ServerとAzureに互換性があるHadoopを提供することで、セットアップと配置を劇的に簡単にし、データの種類や大きさ、あるいはデータがオンプレミスにあるかクラウド上にあるかに関わらず有益な情報を取り出すことができます。"
HDInsight ServerはWindows ServerとMicrosoft SQL Serverで動作するように設計されている。管理はMicrosoft System Centerと統合され、アクセス制御とセキュリティはActive Directoryと統合されている。また、オンプレミスかクラウドかに関わらず、Microsoft SQL Serverに接続してビジネスインテリジェンスを利用できる。
"... Microsoft ExcelやPowerPivot for ExcelやPower Viewをクライアント側のツールとして利用できます。Excelを利用できない人はほとんどいませんし、ExcelはどのようなHadoop環境からでもデータを抽出できます。"
MicrosoftのクラウドベースのHDInsightを使えば数分でHadoopクラスタの配置し起動できる。このサービスはAmazon Web Serviceの既存のElastic Map Reduceのような既存のMapReduceサービスと競合しそうだ。加えて、Azureはデータのマーケットプレイスを提供するので、ユーザはデータを購入することができる。
ClouderaはリアルタイムクエリエンジンであるImpalaを発表した。Impalaは数秒で複数のリアルタイムSQLを処理し主要なBIツールで利用できる。分散クエリエンジンと遅延の少ないスケジューラを提供し、HDFSとHBase上のデータを処理できる。また、Apache Hiveメタストアを利用でき、Hive SQLの構文、ODBCドライバ、HueのBeeswax GUIと互換性がある。
Clouderaによれば、パブリックベータ版になったこの製品はHive/MapReduceよりも10倍から30倍も速くクエリを処理できる。Clouderaのマーケティング資料には、処理速度は“リアルタイム”であり“思考スピード”だと書かれているが、同社の主席アーキテクトは、データ分析が“リアルタイム”でできるということは“待たなくてよい”ということだと捉えるのがいいと言う。
"複数のシステムを利用することなく、単一のプラットフォームでアーカイビングや、データ変換、分析が作業できます。このようにHadoopが進化したことで50%も遅延が減少し、新しいビジネス上の知見を生み出せます。"
企業がかつてないほどの量のデータと格闘していることを考えれば、より高速で動くことの重要性がわかるだろう。しかし、巨大なデータは多くの問題を生む。とりわけ、遅延の問題は大きい。
Finally, MapR TechnologiesはM7の新しいバージョンを発表した。M7はHBaseの管理を簡単にし、企業で利用するデータベースとして利用できるようにする。
M7で、
"... MapR TechnologiesはHBaseの信頼性や管理上の問題を解決してきました。HBaseの基盤アーキテクチャを可能な限り単純化したのです。Norrisによれば、これによって管理が簡単なプラットフォームになり、以前よりも統一された管理、データ保護、一貫性のあるアクセス管理、柔軟性と高性能を顧客に提供できました。"
"M7のアーキテクチャはストレージを最適化しファイルとテーブルを統一の方法で処理できるように設計されています。この統一した方法によって、MapRの既存の管理方法やアクセス方法、データ保護の仕組みをテーブルに適用できます。M7を使うことでHBaseのレイヤアーキテクチャが取り除かれ、アプリケーションはデータに直接アクセスできるようになります。レイヤがあることで生まれる遅延がなくなるのです。M7のアーキテクチャでファイルとテーブルを単一のデータストアに統一することで管理や開発が簡単になり、信頼性が向上し、HBaseアプリケーションは今までにない性能と拡張性を発揮します。"
O’Reilly Strata Conference + Hadoop Worldのプレゼンテーションやキーノート、インタビューはウェブサイトからダウンロードできる。