InfoQ ホームページ Spark に関するすべてのコンテンツ
ニュース
RSSフィード-
AWSがAmazon Finspaceと呼ばれるデータ管理および分析ソリューションを発表
最近、AWSは、Amazon FinSpaceと呼ばれる金融サービス業界（FSI）向けのデータ管理および分析ソリューションを発表した。このサービスは、金融アナリストが分析のためにあらゆる種類の財務データを見つけてアクセスするのにかかる時間を短縮することを目的としている。
-
GoogleがHadoopのビッグデータワークロード用にCloud Storage Connectorを公開
Googleは先日のブログ記事で、Cloud Strage Connector for Hadoopを新たに発表した。この新機能によって、従来のHDFSをGoogle Cloud Storageに置き換えることが可能になる。ParquetやORCといったカラムナファイル(Columnar file)形式により、スループット向上の実現が期待されると同時に、Cloud Storageディレクトリの分離、低いレイテンシ、並列性の向上、インテリジェントなデフォルト設定といったメリットを享受することができる。
-
Dataikuが最新リリースでディープラーニングとコンピュータビジョンを統合
共同データサイエンスプラットフォームDatakuのData Science Studioの最新リリースには、画像処理用に事前学習されたディープラーニングモデルが含まれている。DSSプラットフォームはデータソーシングや可視化から運用展開まで、データサイエンスプロジェクトの全ステップを実行する。マシンラーニングモデルは標準的なライブラリをサポートする。Hadoopや複数のSparkエンジンとの統合も可能だ。
-
YahooがTensorFlowOnSparkをオープンソースに
YahooがTensorFlowOnSparkをオープンソース化した。SparkやHadoopにおける分散トレーニングとモデル提供のためのSparkネイティブなTensorFlowランタイムおよびインテグレーションを可能にする。
-
Google、Cloud Machine LearningとTensorFlowのα版リリース
先月、GoogleがTensorFlowをインテグレートしたクラウド機械学習サービスのα版をリリースした。このサービスは、TensorFlowライブラリをGoogle Cloud Platform (GCP)上でスケールさせて動かしたいというニーズの高まりに応えるものだ。Googleは自らのビッグデータおよびアナリティクスプラットフォームと機械学習を密にインテグレートするという発表の中で、HadoopとSparkのマネージドサービスであるDataprocなどと統合して、TensorFlowの利用をスケールさせるための新機能について説明している。
-
IBMが50プロジェクトのオープンソース化ヘ
IBMがdeveloperWorks Openという新しいポータルサイトを公開した。このサイトは、オープンソースの様々なプロジェクトをまとめたサイトであり、アナリティクス、クラウド、IoT、モバイル、セキュリティ、ソーシャル、Watsonその他を含む数多くのドメインを扱う。今までのところ、IBMは約30プロジェクトをオープンソース化し、2015年の終わりまでに50に増やすことを計画している。そして、将来的にはさらに増やすつもりだ。
-
Mahoutが自己最適化行列代数インターフェース，SparkおよびFlink用プラグインバックエンドを実装
先日ベルリンで行われたGOTOカンファレンスで，MahoutのコミッタのSebastian Schelter氏は，RやPythonと同じくらい使いやすく，スケーラブルなデータ解析の基盤を開発するという，Mahoutの継続的な取り組みの最新状況について概説した。
-
DataBricks，Sparkで構造化データを操作するSpark SQLを発表
Apache Sparkを開発するDataBricksは，SparkエコシステムにSpark SQLという新たな製品を投入すると発表した。Spark SQLはSparkから独立した製品で，Hiveを内部的に使用していない。InfoQでは同社のソフトウェア技術者であるReynold Xin，Michael Armbrust両氏とコンタクトを取り，Spark SQLについて詳しく聞いた。