InfoQ ホームページ Streaming に関するすべてのコンテンツ
-
Uber社、Apache Kafkaの階層型ストレージ機能を推進、効率性をめぐる議論に拍車
運送会社のUber社が、人気の分散イベントストリーミングプラットフォームApache Kafkaの新たな階層型ストレージ機能追加について、詳細を発表した。本機能は、大規模なKafkaクラスタを運営する組織の直面するスケーラビリティや効率性の課題への対応として3.6.0で追加され、現在、早期アクセスの段階である。
-
Canva、SNS+SQSよりAmazon KDSを選択し、1日250億件のイベントで85%の節約を実現
Canvaは、同社のProduct Analytics Platformのために、AWS SNSとSQSの組み合わせ、MKS、Amazon KDSなど、さまざまなデータメッセージングソリューション群を評価し、主に費用面での大きな優位性から最終的にAmazon KDSを選択した。同社は、パフォーマンス、メンテナンスの労力、コストなど、これらのソリューションに対して多くの側面から比較を行った。
-
MLow：Meta社、ローエンド・デバイス向けオーディオ・コーデックを発表
Meta社はこのほど、ローエンドデバイスや低速接続でのリアルタイム通信（RTC）を強化することを目的としたMeta Low Bitrate（MLow）オーディオコーデックを発表した。この新しいコーデックは、低帯域幅の条件下でも効率的で高品質なオーディオストリーミングを実現するよう設計されている。
-
Amazon EventBridge Event BusのAppSync統合によるリアルタイムデータストリーミング機能
AWSはこの頃、Amazon EventBridge Event BusがEvent BusのターゲットとしてAWS AppSyncをサポートし、開発者がアプリケーションからモバイルやデスクトップを含むフロントエンド・アプリケーションにスポーツのスコアなどのリアルタイム更新をストリーミングできるようになると発表した。
-
NVIDIA、エッジでAIアプリを実行するMetropolis Microservices for Jetsonを発表
NVIDIAは、Nvidia Metropolis MicroservicesクラウドベースのAIソリューションを拡張し、NVIDIA Jetson組み込みプラットフォームで実行できるようにした。
-
DoorDash社、Flinkを用いて新しいセッション化プラットフォームを開発、通知配信の適時性向上へ
DoorDash社のエンジニアリング・チームのChen Yang氏とFan Zhang氏はこのほど、Apache Flinkを使用して、ユーザーのアクティビティとユーザー・セッションをリアルタイムで識別するApache Flinkによるインメモリ・セッション化プラットフォームを開発した。下図に示す新システムは、DoorDash社が以前直面していた多くの課題の1つである、ユーザーがカートを本当に放棄したのか、それとも単にもっと多くの商品や別の販売店を閲覧したのかを識別する、という問題を解決した。この区別は、タイムリーで適切なカート放棄通知を送信するために非常に重要であった。バッチ処理などの従来の方法では、リソースを大量に消費し、タイムラグが発生するため、リアルタイムの検知はほぼ不可能だった。
-
Expedia、WebSocketとKafkaを使用してほぼリアルタイムのストリーミングデータをクエリする
Expediaは、同社のプラットフォームからのクリックストリームデータをほぼリアルタイムでクエリするソリューションを開発し、同社のプロダクトチームとエンジニアリングチームが、新しいデータ駆動型の機能使用事例に取り組んだり、既存のデータ駆動型の機能使用事例を強化したりしながら、ライブデータを探索できるようにした。チームは、WebSocket、Apache Kafka、PostgreSQLを組み合わせて使用し、クエリ結果をユーザーのブラウザに継続的にストリーミングできるようにした。
-
HubSpotがワークフロー・アクションをタイムリーに処理するためにApache Kafkaスイムレーンを使用する方法
HubSpotは、コンシューマーグループの遅延の蓄積を回避し、リアルタイムのトラフィックの処理を優先するために、同じプロデューサーの複数のKafkaトピック（スイムレーンと呼ばれる）上でメッセージをルーティングすることを採用した。トラフィック急増の自動検知と手動検知を組み合わせて使用することで、同社は顧客の大半のワークフローが遅延なく実行されるようにしている。
-
Grab、AWS上のKafkaコンシューマーのトラフィックコストをゼロに削減
Grabは、Kafka 2.3で導入された、Apache Kafkaコンシューマーが同じアベイラビリティゾーン（AZ）内のブローカーノードに接続する機能を利用し、再構成されたコンシューマーのAWS上のトラフィックコストをゼロに削減した。この変更により、AWS上でApache Kafkaを実行するための全体的なインフラコストが大幅に削減された。
-
AWS Lambdaがレスポンスペイロードストリーミングを導入
Amazonは先日、AWS Lambda関数がレスポンスペイロードを段階的にクライアントにストリームバックできることを発表した。この新機能は、Webおよびモバイルアプリケーションのパフォーマンスを向上させるもので、現在、Node.js 14.xおよびそれ以降のランタイム、およびカスタムランタイムで利用できる。
-
Amazon RekognitionがStreaming Video Eventを導入
AWSは先頃、Amazon Rekognitionの新機能として、ライブビデオストリーム上でリアルタイムなアラートを提供するStreaming Video Eventsの提供を開始すると発表した。
-
動きのあるデータのイベント処理をシンプルにすることを目的としたQuineとは
thatDotで開発されたQuineは、大量のイベント処理を目的としたオープンソースのストリーミンググラフソリューションである。Quineでは、グラフデータとストリーミングテクノロジーを組み合わせて、リアルタイムで複雑なイベント処理ワークフローを大規模に作成できるとthatDotは言っている。
-
Hazelcastがバージョン5.0で新しい統合プラットフォームを発表
分散コンピューティング、ストレージプラットフォームのHazelcastは、Hazelcast Platformバージョン5.0のリリースを発表した��この新しいプラットフォームは、既存の製品であるHazelcast IMDGとHazelcast Jetを統合するものである。前者はデータを保存、取得、変更するための高速な方法を提供し、後者はデータの高速処理を提供する。
-
AWSがオンデマンドのAmazon Kinesis Data Streamsをローンチ
Amazon Kinesis Data Streams は、ストリーミングされたデータを大規模にリアルタイムに処理するための、AWSのフルマネージドのサーバレスのサービスだ。先ごろ、同社はサービスの新しいオンデマンドのキャパシティモードをリリースした。これにより、ストリーミングワークロードのキャパシティプロビジョニングと管理が不要になる。
-
Apache Flink、Kafka、およびPinotを使用したUberでのリアルタイムの正確に1回のイベント処理
UberEats に広告を導入した後、Uber はいくつかの困難に直面した。生成したイベントは、迅速、確実、正確に処理する必要があった。これらの要件は、広告イベントのストリームを正確に1回のセマンティクスでリアルタイムに処理する、Apache Flink、Kafka、および Pinot をベースにしたシステムによって満たされた。このアーキテクチャを説明する記事が最近 Uber Engineering ブログに公開された。