オープンソースの分散型pub-subメッセージングフレームワークApache Pulsarの最新バージョンによって、企業は、動いているデータを操作することによって「バッチを超える」ことができる。 Streamlioは最近、Apache Pulsar 2.0ストリーミングメッセージングソリューションの利用できるようになったことを発表した。新しいバージョンでは、Pulsar関数、スキーマレジストリ、トピック圧縮がサポートされている。
新しいリリースには、他に次の機能が含まれている。
- Apache BookKeeperのバージョン4.7へのアップグレード
- パフォーマンスの向上
- Pulsar 2.0より前のリリースとの互換性
Pulsar関数: このストリームネイティブ処理機能は、今年初めにプレビュー機能として発表された。Pulsar関数は軽量の計算プロセスである。Pulsar関数によって、外部システムやアドオンを必要とせずに、Pulsarを流れるデータに変換と分析を直接適用できる。メッセージが入力トピックにパブリッシュされるたびに実行される。
スキーマレジストリ: スキーマレジストリはデータ駆動型アプリケーションの開発を簡素化するものである。簡素化のために、開発者にPulsarを流れるデータの構造と完全性を定義し、検証する機能が提供されている。スキーマレジストリは、クライアントがトピックごとにデータスキーマをアップロードできるようにする組み込みレジストリをサポートしている。これらのスキーマによって、どのデータ型がそのトピックに対して有効と認識されるかを決定する。スキーマレジストリは、現在、Javaクライアントに対してのみ使用可能である。
トピック圧縮: これは、パフォーマンスを向上させるストリーミングデータストレージ用のApache Bookkeeperソリューションと連携する、Pulsarの新しい拡張機能である。トピック圧縮は、Pulsarブローカで実行され、トピック内の各キーに対して最新の値のスナップショットを作成するプロセスである。トピック圧縮プロセスは、トピックのバックログを読み取り、圧縮されたバックログ内の各キーに対する最新メッセージのみを保持する。非破壊的なため、元のバックログを必要とするユーザがそれを引き続き利用できる。ユーザは、RESTエンドポイント経由で手動でトリガすることで、トピック圧縮がいつ行われるかを制御できる。
InfoQはMatteo Merli氏と、Pulsarフレームワークとその製品ロードマップについて話した。同氏は、Streamlioの共同設立者であり、Yahooにいる間はPulsarのアーキテクトおよびリード開発者であった。
InfoQ：Pulsarは他のメッセージングフレームワークとどのように違いますか？
Matteo Merli: 他の多くのフレームワークと同様に、Pulsarはさまざまなクライアントからアクセスできる分散型メッセージング機能を提供します。Pulsarは、他のフレームワークにあるコストと複雑さがなく、最新のデータ駆動型アプリケーションと分析の要件に対応できるようにする機能を備えています。具体的には、スループット向上とレイテンシ改善、スケーラビリティ、ストリームネイティブ関数処理、パブリッシュ/サブスクライブメッセージングとメッセージキューイングの両方、マルチデータセンターレプリケーション、セキュリティ、リソース管理のサポートが含まれます。
InfoQ: Pulsar製品ロードマップと今後の機能は何ですか？
Merli: オープンソースプロジェクトとして、Apache Pulsarのロードマップは、コントリビュータとユーザから成るPulsarコミュニティによって形成されている。すぐにリリースされる予定の現在の開発作業には、追加のアクセスインターフェイス、データソースとリポジトリへのコネクタセットの拡張、多層ストレージ機能の提供強化、サポートされているスキーマ形式の拡張セットが含まれます。
Pulsarチームは先週2.0.1のバージョンをリリースした。これには、Pulsarプロキシによって提供されるPyPIおよびREST APIに関するPythonパッケージの修正が含まれる。新しいリリースの詳細については、PulsarのWebサイトのリリースノートを参照してください。
Rate this Article
- Editor Review
- Chief Editor Action