GoogleがCのためのオープンソースMapReduceフレームワーク「MR4C」を発表した。これを利用することにより、開発者はHadoopフレームワーク上でネイティブコードを動かすことができる。
MR4Cフレームワークは、ネイティブ開発されたアルゴリズムのパフォーマンスおよび柔軟性と、Hadoop実行フレームワークが提供するスケーラビリティおよびスループットとの間を橋渡しするものだ。プロジェクトの目的は、MapReduceフレームワークの詳細を抽象化し、ユーザが独自のアルゴリズム開発にフォーカスできるようにするところにある。
このフレームワークはもともと、Skyboxチームによって、衛星画像処理と地理空間データサイエンスのユースケースのために開発された。彼らが必要としていたのは、CやC++で開発された画像処理ライブラリを、スケーラブルなデータ処理に適したHadoopのジョブトラッキングおよびクラスタ管理とともに活用することだった。
MR4Cでは、アルゴリズムはネイティブの共有オブジェクトに格納され、ローカルファイルやURIにあるデータにアクセスする。また、インプット/アウトプット・データセットやランタイムパラメータ、その他の外部ライブラリは、JSONを使って設定する。Mapperの分割とリソースの割り当てはApache YARNベースのツールを使って（Hadoop v2の場合）、もしくはMapReduce Version 1のためのクラスタレベルで設定することができる。自動生成された設定を使って、複数のアルゴリズムのワークフローをつなぎ合わせることもできる。またフレームワークはログや進捗レポートのためのコールバックもサポートしており、Hadoop JobTrackerインターフェイスを使って閲覧できる。ターゲットのHadoopクラスタで使われるのと同じインターフェイスを使って、ワークフローをローカルマシン上でテストすることもできる。
フレームワークの詳細については、MR4C GitHub Webサイトにあるドキュメントとソースコードを参照してほしい。プロジェクトへのコントリビュートに関心がある人は、チームが作っているコントリビュータ向けのWebページを参照しよう。