InfoQ ホームページ Streaming に関するすべてのコンテンツ
-
Celia Kung氏、LinkedInのBrooklinデータストリーミングサービスを語る
LinkedInチームのCelia Kung氏は、先週のQCon New York 2019 Conferenceで、プラグイン可能なソースとデスティネーションをサポートするデータストリーミングサービスであるBrooklinについて講演した。さまざまなデータストアとメッセージングシステムが使用可能になることで、柔軟性と拡張性を備えたソリューションが実現する。Brooklinは、LinkedInで開発されたストリームインフラストラクチャプラットフォームの一部である。
-
Badooのデータエンジニアリング：1日あたり200億のイベントを処理
Badooは現在、1日あたり数十億のイベントを処理する出会い系ソーシャルネットワークであるとデータプラットフォームエンジニアリングリードのVladimir Kazanov氏は説明する。Skills Matterで、彼はこの規模での運用の課題と、Badooがこのデータを処理およびレポートするために使用するツールについて説明した。
-
イベント駆動からイベントソーシングへの移行 - MicroCPHのFangel, Ingerslev両氏の講演より
MicroCPH 2019で、フィンテック企業であるLunar WayのThomasBøghFangel氏とEmil Krog Ingerslev氏は、モノリシックなRailsアプリケーションの構築後に、同社がイベント駆動のへの移行を決定した経緯について解説した。移行過程において氏らはいくつかの設計上の問題を発見し、イベントソーシングの採用を決定した。プレゼンテーションではそれらの問題と、その解決法について論じられた。
-
イベントストリームKafkaとワークフローエンジンZeebe
先日アムステルダムで行われた合同ミーティングで、Kai Waehner氏は、分散ストリーミングプラットフォームのApache Kafkaについて、その特徴とイベント駆動アーキテクチャの適性を説明した。またBernd Rücker氏は、ワークフローエンジンが複雑なビジネスプロセスを処理可能であることを説明した上で、スケーラブルな新しいワークフローエンジンのZeebeがkafkaとの併用に適していると論じた。
-
AmazonのマネージドKafkaがKafka Streamingのセットアップと使用の簡素化を目指す
AWS re：invent 2018でパブリックプレビューとして導入された、Kafka用のAmazon Managed Streaming（MSK）は現在一般に利用可能である。 Amazon MSKは、Kafkaをベースにしたストリーミングアプリケーションの構築と実行を容易にすることを目的としている。
-
サーバレスであっても"状態"は必要だ
今日のエンタープライズアーキテクチャは、サーバレスアーキテクチャへと大きく移行している。Jonas Bonér氏は、サーバレスへの動きを強く支持しながらも、プログラミングモデルではステートレス関数のみを重視すべきではない、と論じる。さらに、分散型の汎用目的アプリケーションに構築において、サーバレスのアドバンテージを活かすためには、状態にも注目する必要がある。
-
Swimが分散コンピューティングの一般概念に挑戦するプラットフォームをオープンソースとして公開
昨今のカンファレンスでの講演を改めて見直せば，今日のソフトウェア・システムの多くがステートレスな処理，分散データベース，高性能なメッセージブローカで構成されている，と考えるのは理に適ったことだ。Swimは先頃，データベース、メッセージブローカ、アプリケーションサーバ、あるいはストレージといったものに依存せず，ステートフルな"デジタルツイン(Digital Twins)"を使用してストリームデータをリアルタイムに分析する，自社製のプラットフォームをオープンソースとして公開した。
-
イベントファースト思想はなぜ重要か
グローバル企業が，その絶え間ない変化と究極的な規模において今日のアーキテクチャの課題に対処するためには，システム設計の基本原則に立ち返ることが必要である。我々の直面する問題の共通要素は，アクションとリアクションの両方におけるイベント駆動の概念である - イベントの重要性とイベントファースト・アプローチのメリットを説いた一連のブログ記事の中で，Neil Avery氏はこのように記している。
-
Amazon、Managed Streaming for Kafkaのパブリックプレビューを発表
AmazonはAWS re:Invent 2018で、顧客がApache Kafkaを用いてストリーミングデータ処理を行うアプリケーションを簡単に構築および実行できるようにする新しいフルマネージドサービスを発表した。この新しいサービスはAmazon Managed Streaming for Kafka、略してAmazon MSKと呼ばれ、現在パブリックベータとして提供されている。
-
Keystone - Netflixのリアルタイムストリーム処理プラットフォーム
Netflixは先日、自社の技術ブログで、同社のリアルタイムストリーム処理プラットフォームであるKeystoneについて、その設計思想と洞察を論じた記事を公開した。Keystoneは2015年12月から運用されている。Netflixの加入者数が過去3年間で6,500万件から13,000万件以上へと増えたのに伴って、Keynoteも年を追って成長してきた。本記事ではKeynoteプラットフォームの最新情報を取り上げる。
-
NATSにKafka風ログAPIを加えたLiftbridge
ホットなイベント駆動テクノロジの世界に参入したLiftbridgeは、NATSメッセージングシステムを、スケーラブルなKafka風ログAPIで拡張したオープンソースプロジェクトだ。InfoQは作者のTyler Treat氏に、同プロジェクトの詳細や、データ統合の変化の動向について話を聞いた。
-
data Artisansがストリームデータ上の直列化可能なACIDトランザクション機能を発表
data ArtisansがStreaming Ledgerの一般提供を開始すると発表した。Apache Flinkを拡張して、テーブル、キー、イベントストリーム間でシリアライズ可能なACIDトランザクションの実行を可能にする。同社独自のFlinkへのアドオンは特許出願中の技術であり、一度にひとつのキーでのみ一貫性のある操作が可能だという、現在の一般的な機能制限を越えた動作を可能にする。
-
Axon Framework 3.3、Subscription Query APIとKafkaサポートを追加
Axon Framework 3.3には、クエリモデルの更新を購読可能にするSubscription Query API、デッドライン��ッセージのスケジューリングを可能にするManager、イベントの送受信にKafkaを使用可能にするAxon-Kafkaモジュールが追加されている。 また最近、バージョン3.3.2がリリースされた。バージョン3.3を使っている人は、アップグレードすることを強く推奨する。
-
分散型メッセージングフレームワークApache Pulsar 2.0がスキーマレジストリとトピック圧縮をサポート
オープンソースの分散型pub-subメッセージングフレームワークApache Pulsarの最新バージョンによって、企業は、動いているデータを操作することによって「バッチでできることを超える」ことができる。 Streamlioは最近、Apache Pulsar 2.0ストリーミングメッセージングソリューションの利用できるようになったことを発表した。新しいバージョンでは、Pulsar関数、スキーマレジストリ、トピック圧縮がサポートされている。
-
QCon NY：Jonas Bonér氏よりイベントファーストのマイクロサービスの設計について
イベントファーストのドメイン駆動型設計（DDD）とイベントストリーミングは、回復力がありスケーラブルなマイクロサービスアーキテクチャを開発する上で非常に重要である。LightBendのエンジニアリングチームのJonas Bonér氏は先週、QCon New York 2018 Conferenceでイベントファーストのデザインについて話した。