先日開催されたre:Inventカンファレンスで、AWSは、1桁ミリ秒のデータアクセスを提供する高性能なシングルAZストレージクラスである、S3 Express One Zoneの一般提供を発表した。リクエストコストを削減するこの新しいストレージクラスは、AI/MLトレーニングや金融モデリングにおけるデータ処理用に設計されている。
S3 Express One Zoneストレージクラスは、既存のAPIに依存し、毎分数百万の要求を処理できる規模に拡張できるが、新しいバケットタイプ、新しい認証モデル、そして新しい命名規則が必要である。階層的な名前空間を持ち、階層のような方法でオブジェクトキー名を保存し、ディレクトリバケット名はリージョン内で固有である。AWSのバイスプレジデント兼チーフエバンジェリストであるJeff Barr氏は、なぜこのストレージクラスが主に小さなオブジェクトに恩恵をもたらすのかを説明している。
>この新しいストレージクラスは、あらゆるサイズのオブジェクトを扱うことができるが、特に小さいオブジェクトにとっては素晴らしい効果を発揮する。なぜなら、小さいオブジェクトの場合、最初のバイトまでの時間は最後のバイトまでの時間に非常に近いからだ。どのストレージシステムでも、大きなオブジェクトはストリーミングに時間がかかるが、これは転送中にダウンロードするデータが多いためであり、したがってストレージの待ち時間がオブジェクトを読み込む総時間への影響は少ない。
AWSが提案するS3 Express One Zoneの使用例には、機械学習や人工知能のトレーニング、相関データ分析、ハイパフォーマンス・コンピューティング(HPC)、金融モデリング、リアルタイム広告、そしてメディアコンテンツのワークロードなどがある。Mural社のプリンシパルエンジニアでData Engineering Weeklyの編集者であるAnanth Packkildurai氏は、S3 Expressがどのような影響をデータインフラに与えるかを書いている。
S3 Expressはサーバーレス・データ・アーキテクチャを開放し、ストレージとコンピューティングをあらゆるレベルで主流のデータ処理業界から切り離すだろう。S3 Expressに直接データを取り込み、S3 ExpressをS3 Standardに複製してフォールトトレランスを確保し、S3 Expressの上でデータを処理する。
オブジェクトは、顧客が選択した単一の可用性ソーン内に保存・複製され、ストレージとコンピュート・リソースのコロケーションが可能になり、遅延がさらに削減される。たとえストレージコストが大幅に高くなったとしても、とPackkildurai氏は付け加える。
S3 ExpressはTCOを大幅に削減する(中略)S3 Standardの8倍のS3 Expressのコストは、同じデータ処理能力を実現するために複数の分散およびステートフルシステムを運用するよりも許容範囲内だと思う。
Confluentのスタッフ・テクノロジストであるJack Vanlightly氏は、新しいクラスが期待したものではない理由を次のように説明している。
S3スタンダードは低価格で、耐久性も高い。そのアキレス腱は、待ち時間が高く予測できないことだ (中略) Express One Zoneは "安い "というチェックボックスにチェックを入れないので、レプリケートされ、フォールトトレラントなキャッシュの実装は、簡単にスリープ状態を続けることができ、依然として関連性があり非常に価値がある。
re:InventでのS3関連の別の発表では、Amazon S3とEMR 用のマウントポイントが新しいストレージクラスをサポートするようになった。
S3 Express One Zoneは、99.95%の可用性と99.9%の可用性SLAを提供するように設計されており、月々0.16 米ドル/英ポンドから利用できる。新しいクラスは現在、バージニア州北部、オレゴン州、東京、ストックホルム地域でのみ利用できる。