BT

最新技術を追い求めるデベロッパのための情報コミュニティ

寄稿

Topics

地域を選ぶ

InfoQ ホームページ ニュース S3 Glacier Flexible_Retrieval, S3 Batch Operationsにより標準検索が高速化

S3 Glacier Flexible_Retrieval, S3 Batch Operationsにより標準検索が高速化

先日、AWSはS3 Glacier Flexible Retrievalからの標準的な検索をより高速化することを発表した。同社によると、この検索は最大85%高速化され、S3 Batch Operations使用時のStandard検索層に適用される。

同社は先に、Amazon S3 GlacierとS3 Glacier Deep Archiveのリストアスループットを最大10倍に改善した。さらに、Amazon S3 Batch Operationsの利用で、自動的にリクエストを高速に開始することが可能となり、企業はペタバイトのデータを含む数十億のオブジェクトをリストアできる。

AWSのプリンシパル・デベロッパー・アドボケイトであるChanny Yun氏は、AWSのニュースブログの投稿で次のように説明している。

S3 Batch Operationsを使用すると、検索するオブジェクトのマニフェストを提供し、検索階層を指定することで、アーカイブされたデータを大規模にリストアできる。S3 Batch Operationsを使えば、Standard検索階層でのリストアは通常3-5時間から数分以内にオブジェクトを返し始めるので、アーカイブからのデータリストアを簡単にスピードアップできる。

250のオブジェクト(各オブジェクトのサイズは100MB)のサンプル検索ジョブの結果(出典:AWS News Blog)

ユーザーはAWS Management Console、AWS Command Line Interface(AWS CLI)、SDKsREST APIを通じてS3 Batch Operationsにアクセスできる。

AWS CLIを使用したS3InitiateRestoreObjectジョブによるリストアジョブの例は以下のようになる。

$aws s3control create-job      --region us-east-1      --account-id 123456789012      --operation '{"S3InitiateRestoreObject": { "ExpirationInDays": 1, "GlacierJobTier":"STANDARD"} }'      --report '{"Bucket":"arn:aws:s3:::reports-bucket ","Prefix":"batch-op-restore-job", "Format":" S3BatchOperations_CSV_20180820","Enabled":true,"ReportScope":"FailedTasksOnly"}'      --manifest '{"Spec":{"Format":"S3BatchOperations_CSV_20180820", "Fields":["Bucket","Key"]},"Location":{"ObjectArn":"arn:aws:s3:::inventory-bucket/inventory_for_restore.csv", "ETag":"<ETag>"}}'      --role-arn arn:aws:iam::123456789012:role/s3batch-role

上記のように、S3 Batch OperationsのジョブアクティビティはAWS CloudTrailにイベントとして記録される。ジョブイベントを追跡するために、ユーザはAmazon EventBridgeでカスタムルールを作成し、Amazon Simple Notification Service(Amazon SNS)など、選択したターゲット通知リソースにこれらのイベントを送信できる。

AWSのAmazon S3 Glacierのシニア・プロダクト・マネージャーであるGy Panday氏は、AWS Tutorials & Demosのビデオの中で、S3 Glacierのパフォーマンス向上のもう一つの利点について言及している。

大規模なワークロードであっても、数分でリストアできる高いスループットの恩恵を受られる。

Microsoft社やGoogle社のような他のパブリッククラウドプロバイダーも、S3 Glacierのような同様のサービスを提供している。例えば、Azure Archive Blob Storageだが、この階層は高速な検索機能を提供していない。それに比べ、Google CloudはStorage Nearlineストレージクラスを提供している。これはデータアーカイブ、オンラインバックアップ、ディザスタリカバリのための低コストで耐久性の高いストレージサービスで、高速検索が可能だ。

Amazon S3 Glacier Flexible Retrievalの高速な標準検索は、現在、AWS GovCloud(米国)リージョンと中国リージョンを含むすべてのAWSリージョンで追加費用なしで利用でであり、S3 Batch Operationsとデータ検索の料金のみが適用される(詳細はS3の価格ページのリクエストとデータ検索のセクションに記載されている)。

作者について

この記事に星をつける

おすすめ度
スタイル

BT