InfoQ ホームページ Event Stream Processing に関するすべてのコンテンツ
-
Uber社、Apache Kafkaの階層型ストレージ機能を推進、効率性をめぐる議論に拍車
運送会社のUber社が、人気の分散イベントストリーミングプラットフォームApache Kafkaの新たな階層型ストレージ機能追加について、詳細を発表した。本機能は、大規模なKafkaクラスタを運営する組織の直面するスケーラビリティや効率性の課題への対応として3.6.0で追加され、現在、早期アクセスの段階である。
-
Canva、SNS+SQSよりAmazon KDSを選択し、1日250億件のイベントで85%の節約を実現
Canvaは、同社のProduct Analytics Platformのために、AWS SNSとSQSの組み合わせ、MKS、Amazon KDSなど、さまざまなデータメッセージングソリューション群を評価し、主に費用面での大きな優位性から最終的にAmazon KDSを選択した。同社は、パフォーマンス、メンテナンスの労力、コストなど、これらのソリューションに対して多くの側面から比較を行った。
-
Amazon EventBridge Event BusのAppSync統合によるリアルタイムデータストリーミング機能
AWSはこの頃、Amazon EventBridge Event BusがEvent BusのターゲットとしてAWS AppSyncをサポートし、開発者がアプリケーションからモバイルやデスクトップを含むフロントエンド・アプリケーションにスポーツのスコアなどのリアルタイム更新をストリーミングできるようになると発表した。
-
DoorDash社、Flinkを用いて新しいセッション化プラットフォームを開発、通知配信の適時性向上へ
DoorDash社のエンジニアリング・チームのChen Yang氏とFan Zhang氏はこのほど、Apache Flinkを使用して、ユーザーのアクティビティとユーザー・セッションをリアルタイムで識別するApache Flinkによるインメモリ・セッション化プラットフォームを開発した。下図に示す新システムは、DoorDash社が以前直面していた多くの課題の1つである、ユーザーがカートを本当に放棄したのか、それとも単にもっと多くの商品や別の販売店を閲覧したのかを識別する、という問題を解決した。この区別は、タイムリーで適切なカート放棄通知を送信するために非常に重要であった。バッチ処理などの従来の方法では、リソースを大量に消費し、タイムラグが発生するため、リアルタイムの検知はほぼ不可能だった。
-
Expedia、WebSocketとKafkaを使用してほぼリアルタイムのストリーミングデータをクエリする
Expediaは、同社のプラットフォームからのクリックストリームデータをほぼリアルタイムでクエリするソリューションを開発し、同社のプロダクトチームとエンジニアリングチームが、新しいデータ駆動型の機能使用事例に取り組んだり、既存のデータ駆動型の機能使用事例を強化したりしながら、ライブデータを探索できるようにした。チームは、WebSocket、Apache Kafka、PostgreSQLを組み合わせて使用し、クエリ結果をユーザーのブラウザに継続的にストリーミングできるようにした。
-
HubSpotがワークフロー・アクションをタイムリーに処理するためにApache Kafkaスイムレーンを使用する方法
HubSpotは、コンシューマーグループの遅延の蓄積を回避し、リアルタイムのトラフィックの処理を優先するために、同じプロデューサーの複数のKafkaトピック（スイムレーンと呼ばれる）上でメッセージをルーティングすることを採用した。トラフィック急増の自動検知と手動検知を組み合わせて使用することで、同社は顧客の大半のワークフローが遅延なく実行されるようにしている。
-
Grab、AWS上のKafkaコンシューマーのトラフィックコストをゼロに削減
Grabは、Kafka 2.3で導入された、Apache Kafkaコンシューマーが同じアベイラビリティゾーン（AZ）内のブローカーノードに接続する機能を利用し、再構成されたコンシューマーのAWS上のトラフィックコストをゼロに削減した。この変更により、AWS上でApache Kafkaを実行するための全体的なインフラコストが大幅に削減された。
-
Amazon RekognitionがStreaming Video Eventを導入
AWSは先頃、Amazon Rekognitionの新機能として、ライブビデオストリーム上でリアルタイムなアラートを提供するStreaming Video Eventsの提供を開始すると発表した。
-
動きのあるデータのイベント処理をシンプルにすることを目的としたQuineとは
thatDotで開発されたQuineは、大量のイベント処理を目的としたオープンソースのストリーミンググラフソリューションである。Quineでは、グラフデータとストリーミングテクノロジーを組み合わせて、リアルタイムで複雑なイベント処理ワークフローを大規模に作成できるとthatDotは言っている。
-
AWSがオンデマンドのAmazon Kinesis Data Streamsをローンチ
Amazon Kinesis Data Streams は、ストリーミングされたデータを大規模にリアルタイムに処理するための、AWSのフルマネージドのサーバレスのサービスだ。先ごろ、同社はサービスの新しいオンデマンドのキャパシティモードをリリースした。これにより、ストリーミングワークロードのキャパシティプロビジョニングと管理が不要になる。
-
Apache Flink、Kafka、およびPinotを使用したUberでのリアルタイムの正確に1回のイベント処理
UberEats に広告を導入した後、Uber はいくつかの困難に直面した。生成したイベントは、迅速、確実、正確に処理する必要があった。これらの要件は、広告イベントのストリームを正確に1回のセマンティクスでリアルタイムに処理する、Apache Flink、Kafka、および Pinot をベースにしたシステムによって満たされた。このアーキテクチャを説明する記事が最近 Uber Engineering ブログに公開された。
-
MicrosoftがEvent Hubs Premiumのプレビューを発表
Azure Event Hubsは、クラウドでの要求の厳しいビッグデータのストリーミングやイベント収集のニーズに対応すべく設計された、Microsoftのリアルタイムイベント収集マネージドサービスである。そのMicrosoftが毎年開催するBuildカンファレンスの期間中に、弾性と高いパフォーマンス、予測可能なレイテンシを必要とする、ハイエンドなイベントストリーミングシナリオに最適な新しいプロダクトSKUとして、Event Hubs Premiumの公開プレビューが発表された。
-
Hazelcast Jet 4.4がリリース - 4周年記念リリースについて、Scott McMahon氏に聞く
Hazelcast Jetは先頃、バージョン4.0をリリースして、その4周年を自ら祝福した。通常のバグ修正やパフォーマンス向上に加えて、このバージョンでは、統合ファイルコネクタやSQLインターフェース初のベータ版など、新機能も提供されている。フィールドエンジニアリングを担当するテクニカルディレクタのScott McMahon氏に、今回の新リリースについて聞いた。
-
ConfluentがMicrosoftとの戦略的提携を発表
Apache Kafkaを創設した企業であるConfluentは最近、Microsoftとの間の新しい戦略的提携を発表した。Confluent CloudとAzureプラットフォーム間のより統合されたエクスペリエンスを可能にするためである。
-
GoogleがEventarcをプレビュー版で発表
最近のブログ投稿で、GoogleはEventarcを発表した。これは、顧客が60を超えるGoogle CloudソースからCloud Runをトリガーできる新しいイベント機能である。Eventarcを使用すると、顧客はイベント駆動型アプリケーションを構築し、イベントの取り込み、配信、セキュリティ、承認、可観測性、およびエラー処理を扱うことができる。