Confluent Platform 5.0がLDAP認証とIoTインテグレーション用のMQTT Proxyをサポート

Confluent Platform 5.0は、Apache Kafka上に開発されたエンタープライズストリーミング用のプラットフォームである。LDAP認証、Kafkaトピックインスペクション、IoT(Internet of Things)統合用のConfluent MQTT Proxyなどをサポートする。最新リリースはApache Kafka 2.0の機能をベースに構築されており、セキュアなインフラストラクチャ、信頼性、およびストリーミングデータを使用するアプリケーションの管理に重点を置く。

企業の運用チームは、新機能であるLDAP認証プラグインを使うことで、メッセージングインフラストラクチャの安全性を確保することができる。このプラグインを使うことで、LDAPサーバで定義されたユーザーグループマッピングを使用するように、Kafkaのアクセスコントロールを設定することが可能になる。このプラグインでは、ユーザプリンシパルベースに加えて、グループベースのアクセス制御リスト(ACL)も使用することができる。

Confluent Replicatorが提供する自動オフセット変換を使用して、ディザスタリカバリ(DR)をサポートすることも可能だ。Replicatorツールは、トピックメッセージと関連メタデータのレプリケーションを自動化する。Confluent Platformの最新バージョンでは、セカンダリクラスタでもコンシューマオフセットを利用できる。コンシューマクライアントアプリケーションがセカンダリクラスタにフェールオーバすると、Replicatorはコンシューマオフセット変換を処理して、元のクラスタでコンシュームを停止した最後のポイントの近くで処理を再開できるようにする。これにより、メッセージのスキップを回避する上で、コンシューマが障害時シナリオで実施する必要のある再処理が最小限に抑えられる。

Confluent Control Centerでは、複数のKafkaクラスタにわたるブローカ構成の表示や、特定のブローカの構成値の確認、さらにはクラスタ内の相違点の比較による、ブローカやダウンロード構成のセキュリティ構成の不一致など潜在的なリスクの特定が可能だ。Kafkaを使用してコンシューマの遅延を調査し、アプリケーションのパフォーマンスを向上することもできる。

Control Centerでは、新たに用意されたトピック検査機能を使用して、Kafkaのトピックに公開されている実際のデータに対する洞察を得ることも可能だ。トピック内のストリーミングメッセージを確認して、キーやヘッダ、値データなどのメッセージ属性を読み取ることもできる。このトピック検査機能では、Schema Registryとの統合により、JSONや文字列、Arvoといったデータ形式もサポートされている。古いスキーマバージョンを表示したり、現在のバージョンと比較することも可能で、スキーマ更新による違いを簡単に見つけることができる。

Control Centerには、KSQLを記述するための新たなユーザインターフェイスが用意された。KSQLの最新バージョンでは、ネストされたデータのサポート、ユーザ定義関数(UDF)、ユーザ定義集計関数(UDAF)、新しいタイプの結合(ストリームとストリーム、テーブルとテーブル、ストリームとテーブルの結合)、REST APIが導入されている。

新バージョンには、IoT(Internet of Things)ベースのアプリケーションをKafkaに統合するためのConfluent MQTT Proxyも含まれている。MQTT Proxyにより、サードパーティのMQTTブローカをKafkaネイティブなMQTTプロキシに置き換えることが可能になり、コネクテッドカーや製造現場のアセンブリライン、予測的保守などのアプリケーションに使用することができる。

TLS(Transport Layer Security)暗号化と基本認証を使用することで、MQTT ProxyはMQTT 3.1.1プロトコルをサポートしており、3つのMQTT QoSレベルすべてでメッセージをパブリッシュすることができる。サービスレベルには、コンシューマへのメッセージ配信方法として、1) 最大で1回(ファイア・アンド・フォーゲット)、2) 少なくとも1回(確認が必要)、3) 正確に1回、が含まれている。

Confluent Platformは、2つのタイプで提供される。Confluent Open Source(ダウンロードリンク)は、Schema Registry、KSQLサポート、RESTプロキシ、およびElasticsearchやHDFS、S3用に事前に構築済みのコネクタを含む。

Confluent Enterprise(ダウンロードリンク)にはConfluent Open Sourceの機能に加えて、Confluent Control Center、オートデータバランサ、Replicator、プロダクトに対する商用サポートなどが含まれている。