AWS re:invent 2018でパブリックプレビューとして紹介された、Amazon Managed Streaming for Kafka(MSK)は現在一般に利用可能である。Amazon MSKは、Kafkaをベースにしたストリーミングアプリケーションの構築と実行を容易にすることを目的としている。
新しいMSK GAは、プレビュー期間中に作成されたアプリケーションに対してKafka 1.1.1との完全な互換性を維持しながら、Kafkaのサポートをバージョン2.1.0に拡張する。さらに、Amazonは初期の顧客からのフィードバックに基づいて多数の新機能を追加した。例えば、クライアントとブローカー間、およびブローカー間の転送中のTLS暗号化がサポートされる。また、ログ記録のためのAWS CloudTrailとの統合と、作成時にクラスタに割り当てられたタグに基づいてIAMポリシーを定義する機能がサポートされる。現時点では、AWSクラウド環境でMSKをプロビジョニングする唯一の方法は、AWS管理コンソールとCLIを使用することである。しかし、AmazonはJSONまたはYAMLのテキスト記述を使用してMSKのモデリングとプロビジョニングを可能にするためにAWS CloudFormationサポートを追加することに取り組んでいる。
Kafkaの統合をシンプルにするためのAmazonの取り組みは、自己ホスト型Kafkaサーバの設定、拡張、管理における生来の課題をクリアしている。その通りで、同社のMSKサービスにはApache Zookeeperノードも含まれている。Amazonが高可用性とセキュリティを確保するために課金することはない。データストリーミングのAmazon製品マネージャー、Damien Wylieは次のように述べている。
エラーを自動的に検出してから、新しいノードを再導入します。そのため、IPはそのまま残り、最後に、クラスタを実行している間に必要なパッチは自動的に適用されます。
AWS管理コンソールでKafkaクラスタを作成するプロセスは非常に合理化されている。使用するKafkaのバージョンを選択し、各アベイラビリティーゾーンのブローカー数を決定し、暗号化と保存のオプションを設定するだけで済む。ほとんどの設定で妥当なデフォルト値が設定されている。ブローカーインスタンスタイプまたはAmazon EDBボリュームサイズを変更したい場合は、詳細カスタム設定セクションにアクセスして変更することができる。
Apache Kafkaクラスタを準備したら、プロデューサがメッセージ送信時に使用するトピックをいくつでも設定できる。コンシューマは自身が参加しているトピックに関する全てのメッセージを受け取ることになる。これらのタスクはすべて、標準のApache Kafkaツールを使用して実行できる。
最後に注記として、AmazonがMSKに99.9％の可用性を保証するサービスレベル契約を提供していることは言及に値する。
Apache KafkaはもともとLinkedInで開発され、2011年にオープンソース化された。AmazonがマネージドKafkaサービスの唯一のプロバイダではない。特に、Confluentは、最近Confluent Cloudと呼ばれるマネージドKafkaサービスを開始した。Confluentは、LinkedInチームによって設立された会社であり、元々Kafkaを開発しており、Kafkaの上にプラットフォームを構築することにフォーカスしている。
Amazon MKSを使ってみたい方は、まず最初にAmazonのステップバイステップガイドを参照してください。