InfoQ ホームページ Streaming に関するすべてのコンテンツ
-
Sportifyにおける信頼性の高いEvent Delivery Systemの概要
Sportifyクライアントはピーク時に最大秒間150万回のイベントを生成し、全ては彼らのEvent Delivery Systemにより取り扱われている。このシステムは遅延を予測可能にすることと、イベントを消失することがないように設計されており、Igor Maravic氏は最近のQCon Londonでの彼の発表において、このシステムの高レベルの概要と鍵となるオペレーション上の側面について説明した。
-
Facebookのライブ配信構築の課題
Facebook Liveが始まったのは2年前のハッカソンで、その8ヶ月後にユーザーに披露された。難しかったのが一つのストリーミング配信に対する予測できない視聴者数への対処であり、この数は広くバラついている。Sachin Kulkarni氏はQCon Londonでのプレゼンで、acebook live開発の設計上のチャレンジについて語った。
-
Hazelcastがオープンソースのストリーム処理エンジンJetをリリース
これまでオープンソースのキャッシュおよびインメモリデータグリッドのテクノロジとして知られていたHazelcastが，新たにJetというストリーム処理エンジンのメジャーリリースを発表した。
-
Apache Flink 1.2がリリース、ダイナミックリスケーリング、セキュリティ、Queryable Stateを提供
Apache Flink 1.2が発表された。ダイナミックリスケーリング，セキュリティ，Queryable Stateなどを備える。リリースでは650件の問題点が解決され，公開APIの互換性が維持されるとともに，Apache Kafka 0.10が同梱され，Apache Mesosがサポートされる。 ダイナミックリスケーリングによって，ストリーミングジョブやジョブ内のオペレータの並行度を変更することも可能だ。
-
Mathieu Ripert氏，Instacartのマシンラーニング最適化を語る
Instacartは食料品を１時間以内に届けるオンライン・デリバリサービスである。アイテムをWebサイトあるいはモバイルアプリで注文すると，Instacartの購入代行者グループが地元の店舗でそれを購入して，購入者に届ける仕組みだ。InfoQは同社のデータサイエンティストであるMathieu Ripert氏にインタビューして，よりよいカスタマエクスペリエンスを保証する上で，Instacartがマシンラーニングをどのうように活用しているのか聞いた。
-
Chaperone - Uberエンジニアリングチームの開発したKafka監査ツール
UberエンジニアリングチームがChaperoneという名のKafkaの監査ツールを，オープンソースプロジェクトとしてリリースした。ChaperoneはUberの運用するマルチデータセンタかつ大容量のKafaにおけるデータの損失，遅延，メッセージ重複の監査と検出を可能にする。
-
Apache Eagleがトップレベルプロジェクトに昇格
ビッグデータプラットフォーム上でのセキュリティおよびパフォーマンスに関する問題を特定する，オープンソースソリューションのApache Eagleが，2017年1月10日，Apacheのトップレベルプロジェク��に昇格した。eBayが2015年10月にオープンソースとしたEagleは，機密データへのアクセスや悪意のある活動を簡単に検出し，タイムリに対応する目的で開発されたソフトウェアだ。
-
Julien Nioche氏が語るStorm Crawler - Apache Stormをベースとするオープンソースのクローラパイプライン
DigitalPebbleのディレクタで，Apache NutchWebクローラプロジェクトのPMCメンバ兼コミッタであるJulien Nioche氏が，StormCrawlerについての講演を行なった。StormCrawlerはストリーミングフレームワークであるApache Stormをベースとした，分散Webクローラ開発のための再利用可能なコンポーネントのコレクションだ。InfoQはプロジェクトの中心的コントリビュータであるNioche氏にインタビューして，StormCrawlerに関する詳細と，同種のテクノロジとの比較について聞くことにした。
-
Azure FunctionsがGA(General Availability)に到達
Microsoftが先頃，Azure Functionsという名称のプラットフォーム・アズ・ア・サービス(PaaS)を新たに発表した。2016年3月にプレビュー版としてローンチされたAzure Functionsは，イベント駆動のサーバレスなコンピューティングプラットフォームを，使用した分のみの課金で開発者に提供するものだ。
-
Julien Le Dem氏に聞く - Apache Arrowが示すカラム指向データ処理の未来
Apache ArrowプロジェクトでPMCのリーダを務めるJulien Le Dem氏が，カラム指向データ処理の今後について，Data Eng Conf NYでプレゼンテーションを行なった。Apache Arrowはカラム型インメモリデータベースのオープンソース標準である。InfoQはParquetとの違いを確認すべく，氏にインタビューした。
-
Apache Flinkを使用したZalandoのマイクロサービスおよびストリーム処理用アーキテクチャ
Javier Lopez氏とMihail Vieru氏はReactive Summit 2016 Conferenceで，クラウドベースのデータ統合と，ビジネスインテリジェンスのユースケースにおけるストリーミング処理で使用される分散プラットフォームについて講演した。
-
Confluentがマルチデータセンタレプリケーションを備えた企業向けKafkaを発表
Confluent Enterpriseの最新バージョンは，マルチデータセンタレプリケーション，自動データバランシング，クラウドマイグレーション機能をサポートする。Apache Kafkaベースのストリーミングプラットフォームを提供するConfluentは先週，ストリーミングデータパイプライン構築とストリーム処理アプリケーション開発を支援するConfluent Enterpriseの新機能を発表した。
-
Twitterがストリーム処理エンジンHeronをオープンソース化
InfoQのRags Srinivas氏は，Karthik Ramasamy氏(Twitterの技術マネージャかつ共同開発者)に対し，ストリーム処理エンジンHeron(Apache Stormの後継)のオープンソース化に関する取材を行った。
-
Jey Kreps氏，Apache KafkaとKafka Streamsを利用した分散ストリーム処理を語る
Apache KafkaとKafka Streamsフレームワークは，ストリーム中心アーキテクチャと分散型ストリーム処理アプリケーションの開発を支援する。Jay Kreps氏(Confluent社のCEO)は，先週，Reactive Summit 2016 Conferenceにて，ストリーム処理とマイクロサービスに関する基調講演を行った。
-
ストリーム処理とLamdaアーキテクチャへの挑戦
Lamdaアーキテクチャはバッチとストリーム処理を結合させる有名なソリューションである。LinkedInのKatrik Paramasivam氏はデータ処理のためにApache Samzaを用いてチームがどうストリーム処理とLambdaアーキテクチャへの挑戦を行ったかを執筆した。この挑戦はイベントの遅延到着と複製メッセージの処理について記載されている。