分散コンピューティング、ストレージプラットフォームのHazelcastは、Hazelcast Platformバージョン5.0のリリースを発表した。この新しいプラットフォームは、既存の製品であるHazelcast IMDGとHazelcast Jetを統合したものである。前者はデータを保存、取得、変更するための高速な方法を提供し、後者はデータの高速処理を提供する。
新しいバージョン5.0では、拡張SQLサポート、ストリーミング機能（Jetモジュールで提供）、再設計されたUIコンソール、新しいシリアル化形式（プレビュー機能として）などの新機能も導入されている。
HazelcastプラットフォームのSQLエンジンは、基本的なデータ操作言語（DML）機能をサポートするようになった。Hazelcastのデータに対してINSERT、UPDATE、DELETEができるようになる。このプラットフォームでは、ソート、集計、新しいSQL式も追加されている。
Hazelcast Platform 5.0でのHazelcast Jetのマージで提供されるストリーミング機能により、SQLやdataflow APIを使って、ステートフルでフォールトトレラントなデータ処理ができるようになる。そして、データストリームや保存データに対するクエリができるようになる。
さらに、Hazelcastプラットフォームでは、Kafka、Hadoop、S3、RDBMS、JMSなどの包括的なコネクタのライブラリが提供される。また、キューまたはpub/subトピックを介した分散メッセージ、およびクラウドネイティブアーキテクチャが提供される。
Hazelcastによって提案されているユースケースは、キャッシング、不正検出、リアルタイムストリーミング分析など様々である。また、高速データルックアップのためのマイクロサービスアーキテクチャで使うことができる。そのドキュメントによると、独自のデータ処理アーキテクチャにより、1秒あたり数百万のイベント上のストリーミングクエリに関して、その99.99％が10ミリ秒未満の遅延となる。
Hazelcastの最高技術責任者John DesJardins氏は、この新しいプラットフォームについてInfoQに話した。
InfoQ: 最新バージョン5.0でHazelcast IMDGとHazelcast Jetに導入する動機と利点は何ですか。
DesJardins: これらの製品を統合することで非常に強力な点がいくつかあります。
まず、シンプルさです - このシンプルさは開発者から始まります。開発者は、プロジェクトに1つのライブラリを追加し、開発者エクスペリエンスをシンプルにするだけで、これらの機能のすべて活用できるようになります。次に、シンプルなアーキテクチャに続きます - 分散アプリケーションをデプロイする場合、統合ランタイムはとても強力です。これは、デプロイ、スケーリング、管理がシンプルになることを意味します。これは、シンプルな操作にもつながります。そして、これらすべてを組み合わせることで、DevOpsプロセスがシンプルになり、アジリティが向上します。この単純さは、データとコンピューティングのスケーリングがシンプルになり、復元力もシンプルになることを意味します。
2つ目は、パフォーマンスです - コンピューティングとデータを統合すると、分散アーキテクチャ、データベース対応コンピューティング、インメモリ最適化アーキテクチャと組み合わせることで、非常に強力となります。データを計算や分析に移動する必要はありません。そのため、データの局所性によりオーバーヘッドが大幅に削減されます。これだけでも、よく知られている「ラムダアーキテクチャ」や最近議論になった「デルタアーキテクチャ」と比較すると、遅延とスループットへの大きな影響を取り除くことができます。どちらも、コンピューティングとストレージの間でかなりのデータの行き来が発生します。これをメモリ内で最適化されたコンピューティングとデータと組み合わせると、これらの利点が大幅に増幅されます。これは、処理が数分から数秒、または数秒から数ミリ秒、さらには数ミリ秒からマイクロ秒になる可能性があることを意味します。
3つ目は、スケーリングと復元力です - コンピューティングとストレージの両方が一緒に分散されるため、復元力を提供しながら、パフォーマンスを直線的にスケーリングできます。これは、たとえば、このブログ投稿で説明されているように、1秒あたり10億を超えるイベントに簡単に拡張できることが実証されています。
最後に、これらの製品とそのオープンソースプロジェクトを統合することで、リリースサイクルを短縮できるため、イノベーションを迅速化し、オープンソースおよびエンタープライズユーザのエコシステムにより多くの価値をもたらすことができます。
InfoQ: コミュニティの貢献は何ですか。
DesJardins: 私たちのコミュニティは、多くの言語のサポート、データソースへのコネクタ、他のフレームワークやプロジェクトのサポートなど、さまざまな分野で積極的に貢献しています。コミュニティの貢献は、他のISV、さまざまな業界の大小企業、システムインテグレーターなどさまざまな分野からもたらされています。また、世界中のあらゆる地域からもたらされています。
InfoQ: Hazelcastの展望は何ですか。
DesJardins: Hazelcastは2022年に向けて大きな計画を立てています。ストレージ、SQL、分析に関する機能の拡張、他のデータプラットフォームやオープンソースプロジェクトへの接続などです。この計画は、私たちのビジョンによって表されているDNAに基づいて作られています。
瞬時のコンピューティングとデータ処理が私たちのDNAです。ダウンタイムゼロのアーキテクチャを可能にする回復力のある製品を提供しています。
私たちはこれを拡張して、ストリーミング、機械学習、より高度なコネクタ、そして、マイクロサービスとクラウドに関するイノベーションに関する機能を追加します。また、これらの分野での技術パートナーシップの拡大にも取り組んでいます。他にも、これらの分野で行われるエキサイティングな発表がいくつかあります。そして、このエコシステムとの共同イノベーションにどのように取り組んでいるかの発表があります。第1四半期の5.1リリースに関するニュースなど、まもなく発表される予定です。
InfoQ: Javaコミュニティからの反応はどうでしたか。
DesJardins: Javaで構築されたテクノロジーとして、Java Communityは常に私たちにとって強力なエコシステムです。これは5.0リリースでも続きます。私たちの機能を統合することは、Java開発者がMavenまたはGradleプロジェクトに1行追加することでストリーミングおよびデータグリッド機能を活用できることを意味します。また、Java ISVパートナーからも強い関心が寄せられています。そのことついては話したいとは思っていないため名前は挙げませんが、Hazelcastは他の12以上のプロジェクトに組み込まれています。
Enterprise Editionも利用できる。新たな永続化機能が追加されており、高密度メモリの制限をメンバーあたり200GBに増やされる。