Hadoop 2.4.0が先日リリースされた。HDFSとYARNを対象とする拡張の中には,アクセスコントロールリストのサポート,ローリングアップデートのネイティブサポート,HDFSでHTTPSを完全サポート,YARNの自動フェールオーバなど,操作面での改善が含まれている。
今回のリリースは,2014年になって2回目のものだ(2月にリリースされた2.3.0が1回目)。機能強化について簡単に説明すると –
- アクセスコントロールリストによってHDFSの権限モデルを強化すると同時に,ユーザとグループの任意の組み合わせによるファイルアクセス管理をサポートする。これまでは,わずか3つの定義済みオプション – ひとりの所有者,ひとつのグループ,その他すべてのユーザ – から選択しなければならなかった。
- ローリングアップデートによって,大規模なHadoopインストレーションのアップグレードの管理がこれまでよりも容易になる。
- HDFSのすべてのコンポーネント – WebHDFS, HsFTP, Webインターフェース – に対してHTTPSがフルサポートされる。
- YARN アプリケーションヒストリサーバ – YARN上で動作するアプリケーションの履歴に関する,汎用的なソリューションを提供する。
- 統括的アプリケーションタイムラインサーバにより,使用するコンテナや消費リソースといった,YARN上で動作するアプリケーション固有のメトリックに関する,より適切な測定が可能になる。
- YARNの自動フェールオーバ – ハードウェア故障などの運用障害に対して,アプリケーションのコールドスタンバイのResourceManagerへのフェールオーバが可能になる。
開発チームはさらに,次期リリースである2.5.0の機能も紹介している –
- ローリングアップグレードの更なる向上
- コントロールとスケジューリングを強化するための,YARN内のサーバの管理者参照用ラベル
- YARN内でのアプリケーション間のリソース委譲と,YARNのワークロード管理機能のアプリケーションからの利用を可能にする
- YARN分散キャッシュ内の情報の自動共有