先日、AWSはS3 Glacier Flexible Retrievalからの標準的な検索をより高速化することを発表した。同社によると、この検索は最大85%高速化され、S3 Batch Operations使用時のStandard検索層に適用される。
同社は先に、Amazon S3 GlacierとS3 Glacier Deep Archiveのリストアスループットを最大10倍に改善した。さらに、Amazon S3 Batch Operationsの利用で、自動的にリクエストを高速に開始することが可能となり、企業はペタバイトのデータを含む数十億のオブジェクトをリストアできる。
AWSのプリンシパル・デベロッパー・アドボケイトであるChanny Yun氏は、AWSのニュースブログの投稿で次のように説明している。
S3 Batch Operationsを使用すると、検索するオブジェクトのマニフェストを提供し、検索階層を指定することで、アーカイブされたデータを大規模にリストアできる。S3 Batch Operationsを使えば、Standard検索階層でのリストアは通常3-5時間から数分以内にオブジェクトを返し始めるので、アーカイブからのデータリストアを簡単にスピードアップできる。
250のオブジェクト(各オブジェクトのサイズは100MB)のサンプル検索ジョブの結果(出典:AWS News Blog)
ユーザーはAWS Management Console、AWS Command Line Interface(AWS CLI)、SDKs、REST APIを通じてS3 Batch Operationsにアクセスできる。
AWS CLIを使用したS3InitiateRestoreObjectジョブによるリストアジョブの例は以下のようになる。
$aws s3control create-job --region us-east-1 --account-id 123456789012 --operation '{"S3InitiateRestoreObject": { "ExpirationInDays": 1, "GlacierJobTier":"STANDARD"} }' --report '{"Bucket":"arn:aws:s3:::reports-bucket ","Prefix":"batch-op-restore-job", "Format":" S3BatchOperations_CSV_20180820","Enabled":true,"ReportScope":"FailedTasksOnly"}' --manifest '{"Spec":{"Format":"S3BatchOperations_CSV_20180820", "Fields":["Bucket","Key"]},"Location":{"ObjectArn":"arn:aws:s3:::inventory-bucket/inventory_for_restore.csv", "ETag":"<ETag>"}}' --role-arn arn:aws:iam::123456789012:role/s3batch-role
上記のように、S3 Batch OperationsのジョブアクティビティはAWS CloudTrailにイベントとして記録される。ジョブイベントを追跡するために、ユーザはAmazon EventBridgeでカスタムルールを作成し、Amazon Simple Notification Service(Amazon SNS)など、選択したターゲット通知リソースにこれらのイベントを送信できる。
AWSのAmazon S3 Glacierのシニア・プロダクト・マネージャーであるGy Panday氏は、AWS Tutorials & Demosのビデオの中で、S3 Glacierのパフォーマンス向上のもう一つの利点について言及している。
大規模なワークロードであっても、数分でリストアできる高いスループットの恩恵を受られる。
Microsoft社やGoogle社のような他のパブリッククラウドプロバイダーも、S3 Glacierのような同様のサービスを提供している。例えば、Azure Archive Blob Storageだが、この階層は高速な検索機能を提供していない。それに比べ、Google CloudはStorage Nearlineストレージクラスを提供している。これはデータアーカイブ、オンラインバックアップ、ディザスタリカバリのための低コストで耐久性の高いストレージサービスで、高速検索が可能だ。
Amazon S3 Glacier Flexible Retrievalの高速な標準検索は、現在、AWS GovCloud(米国)リージョンと中国リージョンを含むすべてのAWSリージョンで追加費用なしで利用でであり、S3 Batch Operationsとデータ検索の料金のみが適用される(詳細はS3の価格ページのリクエストとデータ検索のセクションに記載されている)。