InfoQ ホームページ Big Data に関するすべてのコンテンツ
-
ソフトウェア開発から機械学習へのチーム転換：QCon NYのGolestan Radwan
企業がビッグデータや機械学習の戦略をプロジェクトポートフォリオに追加する際、チームがソフトウェアエンジニアリングからデータエンジニアリングや機械学習へ移行することなど、いくつかの困難に直面する。Golestan "Sally" Radwan氏は最近QCon New York 2018で、伝統的なソフトウェアエンジニアリングチームの機械学習／AIジャーニーを先導した経験について講演した。
-
分散型メッセージングフレームワークApache Pulsar 2.0がスキーマレジストリとトピック圧縮をサポート
オープンソースの分散型pub-subメッセージングフレームワークApache Pulsarの最新バージョンによって、企業は、動いているデータを操作することによって「バッチでできることを超える」ことができる。 Streamlioは最近、Apache Pulsar 2.0ストリーミングメッセージングソリューションの利用できるようになったことを発表した。新しいバージョンでは、Pulsar関数、スキーマレジストリ、トピック圧縮がサポートされている。
-
並列実行とライブレコメンデーションを可能にするeBayのAcceleratorデータ処理フレームワーク
eBayのAcceleratorデータ処理フレームワークは、並列実行機能と、ソースコードと入力データ、結果の自動管理を可能にする。データ分析やアルゴリズム開発、さらにはライブレコメンデーションシステムでの利用が可能だ。
-
統合データAPIとGSQLを備えたPayPalのGimel分析プラットフォーム
PayPalのRomit Mehta氏とDeepak Chandramouli氏は、先日のQCon.aiカンファレンスで、Gimelデータ分析プラットフォームと、同プラットフォームを用いたデータアクセスのコモディティ化について講演した。Mehta、Chandramouli両氏に、同データプラットフォームのセキュリティ面のサポート、データのバージョニング、将来的なロードマップについて話を聞いた。
-
KubernetesでのKafkaクラスタの管理と運用
Amadeus社のプラットフォームソリューションアーキテクトであるNenad Bogojevic氏はKubeCon + CloudNativeCon North America 2017 Conferenceで、Kubernetes環境でKafkaクラスタを実行および管理する方法について講演した。彼は、Kafkaクラスタをプロビジョニングし、KubernetesカスタムリソースまたはConfigMapsを使用して設定することについて話した。
-
ZeroStackがDevOps Workbenchの提供開始
プライベートクラウドプロバイダのZeroStackは、開発者が独自のワークベンチを作成できるセルフサービス機能を発表した。ZerostackのIntelligent Cloud Platformを介して、DevOps Workbenchのユーザは、オープンソースと商用のプロバイダから提供されている40の開発ツールを利用できる。
-
Kubernetesによる最新のビッグデータパイプライン
Kubernetesのなどのコンテナ管理技術は、最新のビッグデータパイプラインの実装を可能にする。IguazioのビッグデータアーキテクトであるErian Bivas氏は、先日のKubeCon + CloudNativeCon North America 2017 Conferenceで、ビッグデータパイプラインとその開発におけるKubernetesのメリットについて講演した。
-
ビッグデータ/マシンラーニングおよびAIにおけるバイアスの影響 - Leslie Miley氏のQCon San Franciscoでの基調講演より
QCon San FranciscoでLeslie Miley氏が基調講演し、2016年の大統領選から米国の犯罪量刑に至るまで、データセットに内在するバイアスがいかに影響を及ぼしているかを説明した。
-
ConfluentがApache Kafka用分散ストリーミングSQLエンジンのKSQLをリリース
ConfluentがリリースしたKSQLは、Apache Kafkaのインタラクティブな分散ストリーミングエンジンだ。Apache Kafka内のトピックに対する集約やジョイン、ウィンドウニング、セッション化といったストリーミング処理操作をサポートする。このオープンソースのストリーミングSQLエンジンは、Kafka Summitカンファレンスで発表された。
-
Microsoft、データサイエンティストと開発者向けのAIサービスとツールをアップデート
先日のMicrosoft Igniteにて、AI関連サービスおよびツールのアップデートが発表された。今回のアップデートには、Azure ML Experimentation Service、Azure ML Model Management Service、Azure ML Workbench、Microsoft Cognitive Servicesの一般提供が含まれている。
-
DatameerのAndrew Brust氏に聞く - AIにおけるビッグデータの役割とは
InfoQのRags SrinivasがDatameerのAndrew Brust氏に、AIにおけるビッグデータの役割の拡大と、SmartAIを使ってそれを運用可能にする方法について聞いた。
-
研究者グループが3億件のデータセットを用いてイメージ認識の最先端技術を更新
研究者グループが、一般的に使用されている100万件ではなく、3億件のイメージで構成されたデータセットを対象にトレーニングを行なったモデルを用いることによって、いくつかのベンチマーク結果で最高レベルを更新することに成功した。 データ数を増やした時に何が起きるのかをテストするため、Googleは３億のイメージからなる内部データセットを作成した。データのラベル付けは自動的に行なった。 その結論は、トレーニングデータの多さは有効である、というものだ。
-
eBayのショッピングアシスタントShopBotで実現されたスケーラブルなChatbotアーキテクチャ
eBayのソフトウェアエンジニアであるRobert Enyedi氏がQCon New York 2017 Congerenceで、個人用ショッピングアシスタントアプリケーションであるShopBotについて講演した。Facebook Messengerボットをベースとして2016年にローンチされたShopBotは、AIコンポーネントとeBayのユーザ情報を活用して、会話形式でショッピングの選択肢を提供するアプリケーションだ。
-
NetflixがGenie 3を発表
Netflixがビッグデータ分散ワークフロー管理ツールでrあるGenie 3の新しい機能を発表した。この新しいバージョンは拡張性がある構成駆動のデータ処理実行とタスクパイプラインをサポートする。
-
Apache Metronがトップレベルプロジェクトに移行
HortonworksとApacheは、リアルタイム・ビッグデータセキュリティ・プラットフォームのMetronの、ASFトップレベルプロジェクトへの移行を発表した。