AWS、データ取り込みを効率化するAmazon OpenSearch Ingestionを発表

AWSはAmazon OpenSearch Serviceの機能として、Amazon OpenSearch ServiceドメインまたはAmazon OpenSearch Serverlessコレクションにデータを受信、変換、配信するサーバーレス、オートスケール、マネージドデータコレクターを提供するAmazon OpenSearch Ingestionを発表した。

Amazon OpenSearch Serviceの検索スペシャリストであるMuthu Pitchaimani氏は、AWS Big Dataのブログ記事で説明している。

OpenSearch IngestionはOpenSearchプロジェクトの一部であるオープンソースのストリーミングETLソリューションであるData Prepperによって提供されています。OpenSearch Ingestionを使用するとOpenSearch Serviceでログ、トレース、メトリクス、その他のデータを取り込むために、自分で管理するデータパイプラインを維持する必要がありません。Amazon OpenSearch Ingestionは変化するデータ量に対応しインジェストパイプラインを自動的にスケーリングします。

Source: https://aws.amazon.com/opensearch-service/features/ingestion/

OpenSearch Ingestionは、適切なインスタンスタイプの選択、セキュリティパッチの適用、データ量の変動に最適化するためのノードの追加や削除など、データ取り込みのためのマルチノードクラスター管理の複雑さを取り除くため、Logstashや他のストリーミングデータパイプラインの管理の代替になる。

またデータを取り込むためのインフラを管理する必要がなく拡張性が高いだけでなく費用対効果も高いサービスである。さらに本サービスはデータの暗号化など堅牢なセキュリティ機能を備えており、ユーザーはデータのセキュリティを維持できる。極めつけはAmazon OpenSearch IngestionはAmazon S3やAWS Lambdaといった他のAWSサービスと簡単に統合できることだ。

開発者はAWS Management Consoleでパイプラインを作成しソース、プロセッサー、デスティネーションクラスターまたはコレクションを定義できる。一般的なインジェストのユースケースのためのブループリントから始めることも可能だ。

Source: https://aws.amazon.com/blogs/big-data/top-strategies-for-high-volume-tracing-with-amazon-opensearch-ingestion/

パイプラインを作成する際、開発者はIngestion、OCUの容量値を指定してOpenSearch Serviceシンクのhosts、aws.sts_role_arn、regionフィールドを編集できる。トレースパイプラインのサンプルは、次のようになる。

version: "2"

entry-pipeline:
  source:
    otel_trace_source:
      path: "/${pipelineName}/v1/traces"
  processor:
    - trace_peer_forwarder:
  sink:
    - pipeline:
        name: "span-pipeline"
    - pipeline:
        name: "service-map-pipeline"

span-pipeline:
  source:
    pipeline:
      name: "entry-pipeline"
  processor:
    - otel_trace_raw:
  sink:
    - opensearch:
        hosts: [ "https://search-mydomain-1a2a3a4a5a6a7a8a9a0a9a8a7a.us-east-1.es.amazonaws.com" ]
        aws:
          sts_role_arn: "arn:aws:iam::123456789012:role/Example-Role"
          region: "us-east-1"
        index_type: "trace-analytics-raw"

service-map-pipeline:
  source:
    pipeline:
      name: "entry-pipeline"
  processor:
    - service_map_stateful:
  sink:
    - opensearch:
        hosts: [ "https://search-mydomain-1a2a3a4a5a6a7a8a9a0a9a8a7a.us-east-1.es.amazonaws.com" ]
        aws:
          sts_role_arn: "arn:aws:iam::123456789012:role/Example-Role"
          region: "us-east-1"
        index_type: "trace-analytics-service-map"

なお、Amazon OpenSearch Ingestionと同様の機能を提供する競合サービスとして、Google Cloud Dataflow、Microsoft Azure Stream Analytics、Confluent、Elastic Cloudなどがある。

Amazon OpenSearch Ingestionは現在、いくつかのAWSリージョンで利用可能で、価格の詳細はAmazon OpenSearchの価格ページ（Ingestionセクション）で確認できる。また開発者はスタートアップチュートリアルでより多くのガイダンスを見つけることが可能だ。