InfoQ ホームページ Event Stream Processing に関するすべてのコンテンツ
-
Amazon Kinesis Data FirehoseでHTTPエンドポイントへのデリバリが可能に
Amazon Kinesis Data Firehoseに先頃、ジェネリックなHTTPエンドポイントへのデータストリーミングのサポートが追加された。これにより、Amazon API Gatewayのサービス統合を通じて、新たなAWSサービスをデスティネーションとすることも可能になる。新機能の一部として、Datadog、MongoDB、New Relicなど、新たなサードパーティサービスプロバイダ用のインテグレーションも用意されている。
-
AWSがAmazon Timestreamの一般提供をリリース
AWSは先頃、SQLを通して時系列データを公開するサーバレス専用データベースであるAmazon Timestreamの一般提供を発表した。Amazon Timestreamを使用すると、顧客は、最近のデータをメモリに保持し、ユーザ定義のポリシーに基づいてコストが最適化されたストレージ階層に履歴データを移動することで、時系列データのライフサイクルを管理する時間とコストを節約できる。
-
CamundaCon Live 2020: ハイライト
今年の初め、CamundaはCamundaConを主催した。これは、Camundaのオープンソース製品を中心に展開するプロセス自動化に関するオンラインカンファレンスである。このカンファレンスでは、プロセスの自動化に関する複数のユースケースセッション、自動化とデジタルトランスフォーメーションに関するバーチャルパネル、マイクロサービスのオーケストレーションとCamunda製品と他のテクノロジーとの統合に関する技術セッションが取り上げられた。
-
Confluent Cloud での Apache Kafka のための Infinite Storage と Retention
Confluent, Inc. はこのほど、同社の標準および専用クラスタ向けの Infinite Storage オプションを発表した。この提供は、Kafka を最新のクラウド特性で実現することに焦点を当てた Project Metamorphosis イニシアチブの一環として行われる。組織は、すべてのイベントデータを一元化したプラットフォームで、無限のストレージと保持を備えたリアルタイムのアクションや履歴分析ができる。
-
Amazon EventBridge Schema RegistryがAWSで一般向けに提供開始される
最近、Amazonは、Amazon EventBridgeサービスのSchema Registry機能の一般向け提供を発表した。Amazon EventBridge Schema Registryを使用すると、開発者はイベント構造（またはスキーマ）を共有の中央のロケーションに保存し、それらのスキーマをJava、Python、Typescriptのコードにマップできる。ゆえに、開発者はイベントをコード内のオブジェクトとして使用できる。
-
KSQLがConfluent Cloudで利用可能に
KSQLは、Apache KafkaのストリーミングSQLエンジンであり、現在、Confluent Cloud Platform上でフルマネージドサービスとして、利用量ベースの料金プランですべての顧客が利用できる。最近のブログ投稿で、ConfluentはConfluent Cloud KSQLの提供を発表した。
-
Spotifyにおけるイベント配信システムのクラウド運用
イベント配信はSpotifyにおける重要なコンポーネントである。配信されるイベントには、ユーザに関する重要な情報、ユーザの行動、運用ログが含まれている。クラウドでのイベント配信システム運用が2年半を経過したことから、Bartosz Janota、Robert Stephenson両氏は、同社のこの成果と、スタックをクラウド上に移行したことによって同社が達成したシステムの革新と単純化について論じたブログ記事を公開した。
-
Delta - Netflixの開発したデータ同期および拡張のためのプラットフォーム
大規模システムでは複数のデータストアを使用することが少なくない。場合によっては、その中のいくつかのデータストアの同期を維持したり、外部サービスを呼び出してストア内のデータを拡張することも必要になる。このようなニーズに対処するためにNetflixは、結果整合性を持ち、イベント駆動によるデータ同期および拡張を行う、Deltaというプラットフォームを開発した。その開発チームが、Deltaの設計に関する概要をブログ記事で説明している。
-
Jagadish Venkatraman氏、LinkedInのSamza 1.0開発を語る
先日のApacheCon North AmericaでJagadish Venkatraman氏は、LinkedInが大規模なストリーム処理を行うためにApache Samza 1.0を開発した経緯について講演した。その中で氏は、兆単位のイベントと数ペタバイトのデータを抱えるLinkedInのユースケースについて説明し、ステートフル処理、高レベルAPI、柔軟な展開モデルといった、1.0リリースで追加された機能を強調した。
-
Badooのデータエンジニアリング：1日あたり200億のイベントを処理
Badooは現在、1日あたり数十億のイベントを処理する出会い系ソーシャルネットワークであるとデータプラットフォームエンジニアリングリードのVladimir Kazanov氏は説明する。Skills Matterで、彼はこの規模での運用の課題と、Badooがこのデータを処理およびレポートするために使用するツールについて説明した。
-
イベント駆動からイベントソーシングへの移行 - MicroCPHのFangel, Ingerslev両氏の講演より
MicroCPH 2019で、フィンテック企業であるLunar WayのThomasBøghFangel氏とEmil Krog Ingerslev氏は、モノリシックなRailsアプリケーションの構築後に、同社がイベント駆動のへの移行を決定した経緯について解説した。移行過程において氏らはいくつかの設計上の問題を発見し、イベントソーシングの採用を決定した。プレゼンテーションではそれらの問題と、その解決法について論じられた。
-
イベントストリームKafkaとワークフローエンジンZeebe
先日アムステルダムで行われた合同ミーティングで、Kai Waehner氏は、分散ストリーミングプラットフォームのApache Kafkaについて、その特徴とイベント駆動アーキテクチャの適性を説明した。またBernd Rücker氏は、ワークフローエンジンが複雑なビジネスプロセスを処理可能であることを説明した上で、スケーラブルな新しいワークフローエンジンのZeebeがkafkaとの併用に適していると論じた。
-
AmazonのマネージドKafkaがKafka Streamingのセットアップと使用の簡素化を目指す
AWS re：invent 2018でパブリックプレビューとして導入された、Kafka用のAmazon Managed Streaming（MSK）は現在一般に利用可能である。 Amazon MSKは、Kafkaをベースにしたストリーミングアプリケーションの構築と実行を容易にすることを目的としている。
-
サーバレスであっても"状態"は必要だ
今日のエンタープライズアーキテクチャは、サーバレスアーキテクチャへと大きく移行している。Jonas Bonér氏は、サーバレスへの動きを強く支持しながらも、プログラミングモデルではステートレス関数のみを重視すべきではない、と論じる。さらに、分散型の汎用目的アプリケーションに構築において、サーバレスのアドバンテージを活かすためには、状態にも注目する必要がある。
-
イベントファースト思想はなぜ重要か
グローバル企業が，その絶え間ない変化と究極的な規模において今日のアーキテクチャの課題に対処するためには，システム設計の基本原則に立ち返ることが必要である。我々の直面する問題の共通要素は，アクションとリアクションの両方におけるイベント駆動の概念である - イベントの重要性とイベントファースト・アプローチのメリットを説いた一連のブログ記事の中で，Neil Avery氏はこのように記している。