AWSは先ごろ、Amazon MSK Serverlessが一般提供されるようになったと発表した。Apache Kafka クラスタを管理するサーバレスオプションにより、容量を監視する必要がなくなり、クラスタ内のパーティションのバランスが自動的にとられる。
Amazon MSK Serverlessは、コンピューティングとストレージリソースを自動的にプロビジョニングおよびスケーリングするように設計されたAmazon MSKのクラスタタイプだ。AWSのシニアデベロッパアドボケイトであるMarcia Villalba氏は、追加したサーバレスの主な利点について次のように説明している:
これは、どのくらいの容量が必要かわからない場合や、非常に変動するスループットやアプリケーションが予測できない生成がある場合、またはアイドル容量の支払いを望まない場合のような、新しいApache Kafka ワークロードの開始に最適なソリューションです。また、クラスタのプロビジョニング、スケーリング、およびリソース使用率の管理を回避したい場合にも役立ちます。
出典: https://aws.amazon.com/blogs/aws/amazon-msk-serverless-now-generally-available-no-more-capacity-planning-for-your-managed-kafka-clusters/
Amazonによれば、MSK Serverless クラスタは、データを処理するためのApache Kafka互換ツールをサポートし、ステートフルストリーム処理の Amazon Kinesis Data Analytics for Apache Flink とイベント処理の AWS Lambda を統合している。
Amazon MSK Serverlessは現在クライアント認証と認可のために AWS IAM をサポートしており、高可用性を確保するために、異なるアベイラビリティーゾーンに2つのパーティションのレプリカを作成する。
2018年に紹介された Amazon MSK は、Apache Kafkaを使用するストリーミングデータを処理するアプリケーションを構築および実行するためのフルマネージドサービスだ。MSKのサーバレスオプションはコミュニティから要望されていた機能であり、直近のre:Inventで、サーバレスバージョンの Redshift および EMR とともにプレビューで公開された。
AWSでデータストリーム処理と分析のためのサーバレスサービスはAmazon MSKだけではない。Kinesis は取り込みまたは消費できるデータ量がストリームに割り当てられたシャード数によって決まるマネージドデータストリーミングサービスだ。InfoQの別の記事の通り Kinesis は最近新しい容量モードである DataStreams On-Demand も追加した。パブリッククラウドでオープンソース Kafka のマネージドバージョンを実行する他のオプションもありる。Confluent Cloud は、Apache Kafka のオリジナルの開発者達によって作成されたクラウドネイティブの分散イベントストリーミングプラットフォームだ。
MSK サーバレス製品の価格は、さまざまな要因がある中でスループットに基づいている。シニアビッグデータエンジニアのHalil Duygulu氏は、AWSに次のように質問している:
スケーリングの労力は、サーバレスの労力のコストを見積もることになるようです。5つの変数があるのは少し多すぎると思いませんか?
Corey Quinn氏は彼のニュースレターで同意している:
価格ページには「MSK Serverless では、サーバレスクラスタに1時間単位の料金、作成するパーティションごとに1時間単位の料金を支払う」と記載されています。従って「サーバレス」の場合、IBM「クラウド」が本当のクラウドです。
すべての Amazon MSK Serverless クラスタは、最大200MBpsの書き込みスループットと400MBpsの読み取りスループットを提供し、パーティションごとに最大5MBpsの書き込みスループットと10MBpsの読み取りスループットを割り当てる。