InfoQ ホームページ MapReduce に関するすべてのコンテンツ
-
GoogleがHadoopのビッグデータワークロード用にCloud Storage Connectorを公開
Googleは先日のブログ記事で、Cloud Strage Connector for Hadoopを新たに発表した。この新機能によって、従来のHDFSをGoogle Cloud Storageに置き換えることが可能になる。ParquetやORCといったカラムナファイル(Columnar file)形式により、スループット向上の実現が期待されると同時に、Cloud Storageディレクトリの分離、低いレイテンシ、並列性の向上、インテリジェントなデフォルト設定といったメリットを享受することができる。
-
Glenn Tamkin氏、NASA大規模気候データへのApache Hadoop適用を語る
NCCS (NASA Center for Climate Simulation) はハイパフォーマンスデータ分析にApache Hadoopを使っている。NASAチームのGlenn Tamkin氏は先月のApacheCon Conferenceで講演し、Hadoopを使って構築した、気候データ分析のためのプラットフォームの詳細について説明した。
-
Google、Hadoop上でネイティブコードを動かすMR4Cをオープンソース公開
GoogleがCのためのオープンソースMapReduceフレームワーク「MR4C」を発表した。これを利用することにより、開発者はHadoopフレームワーク上でネイティブコードを動かすことができる。MR4Cフレームワークは、ネイティブ開発されたアルゴリズムのパフォーマンスおよび柔軟性と、Hadoop実行フレームワークが提供するスケーラビリティおよびスループットとの間を橋渡しするものだ
-
MapR Community Edition組込みのMapR-DB NoSQLデータベースが無制限商業利用可能に
Apache HadoopディストリビューションのプロバイダであるMapR Technologiesは，自社のMapR-DB NoSQLデータベースを無制限に商業利用可能なオープンソース化した。MapR-DBはHadoopにネイティブ統合されたワイドカラムのNoSQLデータベースで，強い一貫性やACIDトランザクションをサポートする。
-
Hadoopに挑むHydra
ソーシャルネットワーク企業のAddThisは先日，HydraをApacheバージョン2.0ライセンスの下で，オープンソースとして公開すると発表した。Hydraは，半構造化ソーシャルデータをライブストリームとして処理することで，それらのデータに対する効率的なクエリ処理を実現するために開発された，同社の社内プラットフォームを発展させたものだ。
-
-
TwitterがMapReduceストリーミングフレームワークSummingbirdをオープンソースに
Twitterは，Summingbirdと呼ぶ自社のMapReduceストリーミングフレームワークをオープンソースにした。Apache 2ライセンスで公開されるSummingbirdは，コー���をバッチモード(Hadoop/MapReduceをベースとする)でもストリームモード(Stormをベースとする)でも，あるいはハイブリッドモードと呼ばれる２つの組み合わせでも同じように実行することができる，大規模データ処理システムだ。
-
-
EC2でMesosによるクラスタの自動デプロイを実現するElastic Mesos
EC2上でApache Mesosの自動デプロイが可能になった。Apache Mesosはクラスタのリソース全体を，複数のデータ処理フレームワークで共有するオープンソースツールである。使用されているのは，ビッグデータの新興企業Mesosphereが提供するElastic Mesosという，新しいWebサービスだ。
-
HadoopジョブをGPU上で実行するParallelX
MapReduceパラダイムは，大規模な計算集約的アルゴリズムを扱う場合には，必ずしも理想的ではない。ある企業家の小さなチームが，これを解決するためにParallelXという製品を開発している。GPUのパワーを活用してHadoopジョブを強力に加速することで，ボトルネックを解消しようというものだ。
-
最新のTechnology Radarに見るトレンド
ThoughtWorksの最新の"Technology Radar"はモバイル、アクセス容易な分析、シンプルなアーキテクチャ、再現可能な環境、データ永続化の正しい方法に着目している。
-
-
LinkedIn EngineeringがSenseiDB 1.0.0をリリース
LinkedIn EngineeringがSenseiDB 1.0.0をリリースした。SenseiDBはNoSQLで高い更新頻度と、複雑な半構造化検索クエリに対処することに力点が置かれており、既にLinkedInの検索関連ページで利用されている。
-
MapReduce パターンとアルゴリズム，ユースケース
新しい記事 “MapRedice Patterns, Algorithms, and Use Cases” で，筆者の Ilya Katsov 氏は Web あるいは 科学記事に見られる様々な MapReduce パターンとアルゴリズム，テクニックの系統的概要を，実践的ユースケース数例の考察と合わせて提供している。
-
Apache Hadoop 1.0.0が Kerberos 認証, Apache HBase、HDFSへのRESTful APIをサポート
6年間の熟成の後、Big DataフレームワークであるApache Hadoop 1.0.0が最近リリースされた。新リリースのコアフィーチャにはKerberos 認証, Apache HBase、HDFSへのRESTful APIをサポートが含まれている。InfoQは Apache Hadoop ProjectのVPである Arun Murthy氏に新リリースについて聞いた。