分散型SQLデータプラットフォームSplice Machineの最新バージョンでは、Kubernetesで管理される新形式のサービス、Machine Learning Managerの新バージョン(v2.0)、インデータベースモデルの自動デプロイメントがサポートされている。
Splice Machineがリリースしたデータプラットフォームのバージョン3.0には、ディザスタリカバリ、レプリケーション、タイムトラベル、レガシデータベースとの互換性などの機能が含まれる他、マシンラーニングとAI機能のネイティブサポートや、オンプレミスとクラウドの統合デプロイメントも備えている。
Splice MachineのML Managerは、MLモデルに関するエンドツーエンドのライフサイクル管理を提供するもので、新バージョンの2.0では、ML flowによるJupyter notebookとのインテグレーション、およびインデータベースデプロイメントが可能になった。Jupyterのネイティブサポートには、JupyterHubとBeakerX Jupyterエクステンションを使用している。ML Managerは、モデルパラメータとメトリクスのバルクロギングを提供し、パイプラインステージとフィーチャートランスフォーメーション(feature transformation)を完全に可視化することによって、モデルのワークフロー管理を支援する。
Splice Machine 3.0の他の新機能には、以下の領域での改善が含まれている。
- ワークロード管理: Splice Machineデータプラットフォームは複数のOLAPキューの使用をサポートする。これにより、特定のクエリを対象としたクラスタ能力の確保、各サーバ/ロールが消費するリソースの追跡、クエリのタイプに対するリソース容量の管理などが可能になっている。この機能は、リソース集約的なクエリが同時に複数動作する場合のワークロード分離に有用である。
- SQLカバレッジ: DB2特有のSQL構文や、クエリの外部結合のサポートなどを含む。外部結合がサポートされたことにより、レガシデータベース用に記述されたクエリを書き直す必要性が低減する。SQLの拡張としてはこの他に、過去のある時点におけるデータベースを対象としたクエリを可能にする、"Time Travel — Point in Time"クエリがある。この機能は、ゆっくりと変化するディメンジョン、データ監査シナリオ、巻き戻しが必要となる可能性のあるDB変更などの処理を行う上で有用である。
- レプリケーションとHA: この機能は、アクティブ-パッシブ方式のレプリケーションを通じて自動的に同期を保つ複数のデータベースクラスタを立ち上げることで、RPO(Recovery Point Objectives)やRTO(Recovery Time Objectives)などのビジネス継続パラメータの達成をサポートする。
- データセキュリティ: これには、特定のスキーマに属するオブジェクトへのアクセスを管理することにより、適切な権限を持たないユーザの参照やアクセスを不可能にする、スキーマアクセス制限が含まれる。もうひとつのセキュリティ機能である、カスタマイズ可能なログのパターンマッチングでは、正規表現をベースとしたパターンを使用してシステムログの機密情報を編集することができる。
- Kubernetesサポート: Kubernetes上で動作するSplice Machineでは、下位インフラストラクチャを抽象化することにより、ハイブリッドクラウドやマルチクラウドのデプロイメントが可能になる。新たなKubernetesサポートにはネイティブSparkデータソース(NSDS)が含まれている。これを使用することで、コンテナ/ネットワークのバウンダリを越えたSpliceへのデータフレームのストリーミングが可能になり、Apache Kafkaで実装されたスループットソリューションの提供が実現する。
今回のリリースにはプラットフォームのアップグレードも含まれており、Clouddera 6.3、HWX 3.2.3の他、HDFS 3.0、HBase 2.0、Apache Spark 2.4.1がサポートされるようになる。Splice Machine 3.0に関する詳細な情報は、ブログ記事やウェビナを確認してほしい。