InfoQ ホームページ Streaming に関するすべてのコンテンツ
-
Apache Flink 1.2がリリース、ダイナミックリスケーリング、セキュリティ、Queryable Stateを提供
Apache Flink 1.2が発表された。ダイナミックリスケーリング，セキュリティ，Queryable Stateなどを備える。リリースでは650件の問題点が解決され，公開APIの互換性が維持されるとともに，Apache Kafka 0.10が同梱され，Apache Mesosがサポートされる。 ダイナミックリスケーリングによって，ストリーミングジョブやジョブ内のオペレータの並行度を変更することも可能だ。
-
Mathieu Ripert氏，Instacartのマシンラーニング最適化を語る
Instacartは食料品を１時間以内に届けるオンライン・デリバリサービスである。アイテムをWebサイトあるいはモバイルアプリで注文すると，Instacartの購入代行者グループが地元の店舗でそれを購入して，購入者に届ける仕組みだ。InfoQは同社のデータサイエンティストであるMathieu Ripert氏にインタビューして，よりよいカスタマエクスペリエンスを保証する上で，Instacartがマシンラーニングをどのうように活用しているのか聞いた。
-
Chaperone - Uberエンジニアリングチームの開発したKafka監査ツール
UberエンジニアリングチームがChaperoneという名のKafkaの監査ツールを，オープンソースプロジェクトとしてリリースした。ChaperoneはUberの運用するマルチデータセンタかつ大容量のKafaにおけるデータの損失，遅延，メッセージ重複の監査と検出を可能にする。
-
Apache Eagleがトップレベルプロジェクトに昇格
ビッグデータプラットフォーム上でのセキュリティおよびパフォーマンスに関する問題を特定する，オープンソースソリューションのApache Eagleが，2017年1月10日，Apacheのトップレベルプロジェクトに昇格した。eBayが2015年10月にオープンソースとしたEagleは，機密データへのアクセスや悪意のある活動を簡単に検出し，タイムリに対応する目的で開発されたソフトウェアだ。
-
Julien Nioche氏が語るStorm Crawler - Apache Stormをベースとするオープンソースのクローラパイプライン
DigitalPebbleのディレクタで，Apache NutchWebクローラプロジェクトのPMCメンバ兼コミッタであるJulien Nioche氏が，StormCrawlerについての講演を行なった。StormCrawlerはストリーミングフレームワークであるApache Stormをベースとした，分散Webクローラ開発のための再利用可能なコンポーネントのコレクションだ。InfoQはプロジェクトの中心的コントリビュータであるNioche氏にインタビューして，StormCrawlerに関する詳細と，同種のテクノロジとの比較について聞くことにした。
-
Azure FunctionsがGA(General Availability)に到達
Microsoftが先頃，Azure Functionsという名称のプラットフォーム・アズ・ア・サービス(PaaS)を新たに発表した。2016年3月にプレビュー版としてローンチされたAzure Functionsは，イベント駆動のサーバレスなコンピューティングプラットフォームを，使用した分のみの課金で開発者に提供するものだ。
-
Julien Le Dem氏に聞く - Apache Arrowが示すカラム指向データ処理の未来
Apache ArrowプロジェクトでPMCのリーダを務めるJulien Le Dem氏が，カラム指向データ処理の今後について，Data Eng Conf NYでプレゼンテーションを行なった。Apache Arrowはカラム型インメモリデータベースのオープンソース標準である。InfoQはParquetとの違いを確認すべく，氏にインタビューした。
-
Apache Flinkを使用したZalandoのマイクロサービスおよびストリーム処理用アーキテクチャ
Javier Lopez氏とMihail Vieru氏はReactive Summit 2016 Conferenceで，クラウドベースのデータ統合と，ビジネスインテリジェンスのユースケースにおけるストリーミング処理で使用される分散プラットフォームについて講演した。
-
Confluentがマルチデータセンタレプリケーションを備えた企業向けKafkaを発表
Confluent Enterpriseの最新バージョンは，マルチデータセンタレプリケーション，自動データバランシング，クラウドマイグレーション機能をサポートする。Apache Kafkaベースのストリーミングプラットフォームを提供するConfluentは先週，ストリーミングデータパイプライン構築とストリーム処理アプリケーション開発を支援するConfluent Enterpriseの新機能を発表した。
-
Twitterがストリーム処理エンジンHeron��オープンソース化
InfoQのRags Srinivas氏は，Karthik Ramasamy氏(Twitterの技術マネージャかつ共同開発者)に対し，ストリーム処理エンジンHeron(Apache Stormの後継)のオープンソース化に関する取材を行った。
-
Jey Kreps氏，Apache KafkaとKafka Streamsを利用した分散ストリーム処理を語る
Apache KafkaとKafka Streamsフレームワークは，ストリーム中心アーキテクチャと分散型ストリーム処理アプリケーションの開発を支援する。Jay Kreps氏(Confluent社のCEO)は，先週，Reactive Summit 2016 Conferenceにて，ストリーム処理とマイクロサービスに関する基調講演を行った。
-
ストリーム処理とLamdaアーキテクチャへの挑戦
Lamdaアーキテクチャはバッチとストリーム処理を結合させる有名なソリューションである。LinkedInのKatrik Paramasivam氏はデータ処理のためにApache Samzaを用いてチームがどうストリーム処理とLambdaアーキテクチャへの挑戦を行ったかを執筆した。この挑戦はイベントの遅延到着と複製メッセージの処理について記載されている。
-
Neha Narkhede氏が語る - Apache Kafkaを使用した大規模ストリーム処理
QCon New York 2016で行われたプレゼンテーション“Large-Scale Stream Processing with Apache Kafka”の中で，Neha Narkhede氏は，ストリーミングデータを処理するKafkaの新機能であるKafka Streamを紹介した。アンバウンドなデータが多く見られるようになったことにより，ストリーミング処理は一般的なものになった，とNarkhede氏は言う。マシンラーニングの例でも見られるように，もはやニッチな問題では���いのだ。
-
Apache Spark 2.0テクニカルプレビュー
Databricksは、Apache Sparkの最初のリリースの2年後に、上流ブランチ2.0.0-previewを基にした、Apache Spark 2.0のテクニカルプレビューを発表した。このプレビューは、安定性とAPIの両方の観点で本番環境向けではなく、一般提供リリースの前にコミュニティからのフィードバックを集めることを目的にしているリリースである。
-
Apache Flinkを用いたデータストリーミングアーキテクチャ
Jamie Grier氏がApache Flinkを用いたデータストリーミングアーキテクチャについてOSCON 2016 Conferenceで講演した。データストリーミングアプリケーションの構成要素とステートフルなストリーミング処理について、Flinkアプリケーションのサンプルコードとモニタリングをまじえて紹介した。