Amazonは最近、Amazon Elasticsearch ServiceにおいてAuto-Tune機能を発表した。これは、Elasticsearchクラスタを実行中のワークロードに適応させる閉ループ制御システムである。新しい自動メモリ管理により、ログ分析ワークロードの取り込みスループットが向上し、検索クエリのテールレイテンシが短縮する。
Amazon Elasticsearch Serviceは、Elasticsearchクラスタからのパフォーマンスと使用状況のメトリックを使って、ノード上のJava仮想マシン（JVM）設定に対する最適な変更の選択肢を提案する。これは、クラスタの速度と安定性を向上させることを目的として行われる。Auto-Tuneはドメインのパフォーマンスメトリックに基づいて、アプリケーションのワークロードに応じて、次のクラスタリソースを増減する。リソースとしては、スレッドプールキューの検索と書き込み、フィールドデータキャッシュ、シャードリクエストキャッシュ、JVM生成サイズ設定、JVMヒープサイズ設定、キャッシュのクリアなどがある。
出典: https://aws.amazon.com/blogs/big-data/introducing-auto-tune-in-amazon-es/
AWSビッグデータブログの記事では、アダプティブリソース管理が重要である理由を説明している。
Elasticsearchは、さまざまなユースケースで活用できます。例えば、キュレートされた検索と関連性のランク付け、ログ分析、インシデントレスポンス（SIEM）、時系列データストア、テレメトリのメトリックなどがあります。これらのユースケースは、パフォーマンスとスケーリングの特性が異なり、Elasticsearchの機能を様々な方法で使用します。ヒューリスティックとベストプラクティスは良い出発点を提供するが、1つのサイズがすべてに適合するというものではありません。ワークロードは絶えず進化しているため、クラスタの特定のニーズに合わせて構成をチューニングすることは、パフォーマンスと安定性に大きな影響を与えます。ただし、Elasticsearchには相互依存性の高い設定がいくつかあり、手動で調整するのが難しい場合があります。 Amazon ESのAuto-Tuneは、これに対処します。
Auto-Tuneには、変更についての2つのカテゴリがある。それは、クラスタの実行時に適用される無停止の変更と、Blue/Greenデプロイが必要な変更である。Auto-Tuneをメンテナンスウィンドウなしで有効にした場合、自動調整は中断のない変更のみを適用し、時間の経過とともにパフォーマンス上のメリットは小さくなる。しかし、Blue/Greenデプロイのオーバーヘッドは回避される。AWSのシニアソフトウェアエンジニアであるAnkit Malpani氏は、次のようにコメントしている。
自動チューニングと自動運転DBは新しい標準であり、これは#elasticsearchをそこに到達させるための良い第一歩です。
新しい機能は、新しいドメインではデフォルトで有効になっている。しかし、コマンドラインまたはコンソールを使用して無効にすることができる。既存のドメインでAuto-Tuneを有効にするには、コンソールを使用することをお勧めする。
出典: https://aws.amazon.com/blogs/big-data/introducing-auto-tune-in-amazon-es/
新しいサービスの基盤の1つであるPerformance Analyzerはオープンソースであり、REST APIを公開する。このAPIは、Java仮想マシン（JVM）とは関係なく、クラスタの多数のパフォーマンスメトリックに対するクエリを可能にするものである。PerfTopは、これらのメトリックを表示するためのデフォルトのコマンドラインインターフェイス（CLI）である。
AWSの主任技術者であるAlolita Sharma氏は、次のようにツイートしている。
#OpenDistroforElasticsearch PerformanceAnalyzerで何年にもわたるオープンソース開発が、Amazon Elasticsearch Serviceの新機能であるAutoTuneを強化しているのを目の当たりにしてワクワクしています。
オープンソースコミュニティであるElasticsearchとAWSの関係は、ここ数か月で物議を醸している。これは、InfoQが別の記事で取り上げたトピックである。
Auto-Tuneは、Elasticsearch 6.7以降を実行しているドメインで、サポートされているインスタンスタイプで使用できる。