ニュース

Apache Spark 1.3リリース - DataFrame，SparkSQL，MLibを拡張

Google、Hadoop上でネイティブコードを動かすMR4Cをオープンソース公開

GoogleがCのためのオープンソースMapReduceフレームワーク「MR4C」を発表した。これを利用することにより、開発者はHadoopフレームワーク上でネイティブコードを動かすことができる。MR4Cフレームワークは、ネイティブ開発されたアルゴリズムのパフォーマンスおよび柔軟性と、Hadoop実行フレームワークが提供するスケーラビリティおよびスループットとの間を橋渡しするものだ

Pivotal が Big Data Suite をオープンソース化

Pivotal社は、自身のBig Data Suiteのコア・コンポーネントをオープンソース化することを決定するとともに、ビッグデータ用のオープンソースの普及促進および標準化のための Open Data Platform を発表した。

Apache Hive 1.0リリース，HiveServer2がメインエンジンに，API定義を固定化

Apache Hiveは，2015年2月６日，同プロジェクトのバージョン1.0をリリースした。当初バージョン0.14.1として予定されていたが，コミュニティの投票により，プロジェクトの到達した完成度の高さを反映すべく，バージョンナンバを1.0.0に変更したのだ。

Apache Flink 0.8.0リリース，2015年のロードマップを公開

Apache Flinkがプロジェクトのバージョン0.8.0をリリースした。パフォーマンスや互換性，安定性の向上といった一般的な改善の他，これまで欠けていたストリーミング機能に関するScala APIが追加されている。さらに，インキュベータへの参加からおよそ９ヶ月で，Apacheトップレベルプロジェクトへの昇格も果たした。

Google機械学習の技術的負債

Googleの研究員やエンジニアたちが、NIPSのワークショップで、機械学習を使うことの技術的負債に対する見解を発表した。発表者たちは技術的負債の様々な側面を明らかにし、適切に対処しなければ、機械学習や企業の複雑なデータ分析を使うことは、従来のソフトウェアエンジニアリングとは異なる新しい技術的負債を生み出すと結論付けた。

インスタントピボット，拡張イベントパターン検出をサポートするSplunk Enterprise 6.2

ビッグデータ解析ツールSplunk EnterpriseとHunkの最新バージョンでは，インスタントピボット，強化されたイベン��パターン検出，ビルド済みのダッシュボードパネルなどがサポートされている。オペレーショナルインテリジェンスのためのソフトウェアプラットフォームプロバイダであるSplunk Inc.は先頃，Splunk EnterpriseとHunkのバージョン6.2，HadoopとNoSQLデータストア用のSpulnk解析ツールの一般供用開始(GA/General Availabiity)を発表した。

Splice Machine バージョン1.0，Hadoop統合と分析ウィンドウ関数をサポート

Spline Machineバージョン1.0は，分析ウィンドウ関数とHadoopエコシステム統合をサポートする。Splice Machineチームは先頃，Hadoopでのトランザクション処理に使用可能な，HadoopベースのRDBMSデータ管理ソリューションをリリースした。

GoogleがCloud Dataflow Java SDKをオープンソースに

Googleは今年初め，Cloud Dataflowを発表した。大量のデータをバッチ，あるいはリアルタイムで処理するためのサービスとSDKだ。そして今回，同社はDataflow Java SDKをオープンソースにした。開発者がその動作内容を確認したり，オンプレミスあるいはクラウド上で動作するサービスにSDKを使用することが可能になる。

2015年1月のThoughtWorks Radar

ThoughtWorksは2015年1月のレーダーのデジタルプレビューを発表し、技術、ツール、プラットフォーム、言語について意見を公表し、ソフトウエア技術に関する現在のトレンドを発表した。

LinkedInのデータ取得プラットフォームGobblin

2014 QCon San FranciscoカンファレンスでLinkedInのLin Qiao氏はGobblinプロジェクトについて話をした(ブログにも説明がある)。このプロジェクトは内部と外部のデータソースから統一した方式でデータを取得するためのシステムだ。

MapR Community Edition組込みのMapR-DB NoSQLデータベースが無制限商業利用可能に

Apache HadoopディストリビューションのプロバイダであるMapR Technologiesは，自社のMapR-DB NoSQLデータベースを無制限に商業利用可能なオープンソース化した。MapR-DBはHadoopにネイティブ統合されたワイドカラムのNoSQLデータベースで，強い一貫性やACIDトランザクションをサポートする。

Mahoutが自己最適化行列代数インターフェース，SparkおよびFlink用プラグインバックエンドを実装

先日ベルリンで行われたGOTOカンファレンスで，MahoutのコミッタのSebastian Schelter氏は，RやPythonと同じくらい使いやすく，スケーラブルなデータ解析の基盤を開発するという，Mahoutの継続的な取り組みの最新状況について概説した。

ラムダアーキテクチャに関する疑問

ラムダアーキテクチャの有用性と適用性の限界を示唆したブログ記事を書いたJay Kreps氏は，ラムダにはさまざまなアイデアが含まれているものの，未成熟なツールであるがゆえに，ビッグデータの未来であるというよりも，結局は一時的なソリューションに過ぎない，と主張している。

IBM: 企業の70%がビッグデータ、クラウド、モバイル、ソーシャルを活用している

IBMはRaising the game - The IBM Business Tech Trends Study (PDF)と題した調査結果を発表した。同社はこの調査で次の4つの重要な技術の現在の普及状況を調べている。すなわち、ビッグデータ&アナリティクス、クラウド、モバイル、ソーシャルの4つだ。この4つがエンタープライズ分野でどの程度普及しているのかを2012年と比較している。また、PacesettersとDabblersの比較も行っている。