Apache Metronがトップレベルプロジェクトに移行

HortonworksとApacheは、Metronがトップレベルのプロジェクトに移行したことを発表した。Mertonは、セキュリティ関連のテレメトリデータのキャプチャと、ストリーミングの分析および応答を一体で備えた、最新のプラットフォームである。Ciscoのビッグデータシステムを対象としたオープンソースのセキュリティフレームワークであるOpenSOCプロジェクトを起源とする。Metronは、ログの集約、全パケットのキャプチャとインデックス生成、ストレージ、高度な行動分析、データエンリッチメントなどの機能と、セキュリティテレメトリへの最新の脅威情報の適用を、単一プラットフォームで実現する。

概念的には、Metronは４つのコンポーネントで構成されている。データのキャプチャと取得、リアルタイム処理、データの永続化保証とストレージ、そして監視とリスクに関する警告を行なうラーニングマシン・アズ・ア・サービスだ。

MetronのコアはKappaアーキテクチャである。これは、Apache Kafkaを統一データバス、Apache Stormを処理コンポーネントとして実装された、Lambdaアーキテクチャの一種だ。BroログをKafkaに転送する役割を担うのはBroプラグインである。これを使ってMetronは、パケットの収集と詳細な調査と再構築に必要な情報を獲得するとともに、Kafkaが実現する保証、ビッグデータエコシステムの他部分との統合を活用することができる。

データ収集に関しては、テレメトリデータをMetronのメッセージバスに転送し、Stormを経由してリアルタイムでHBaseに永続化したり、あるいは処理したりすることが可能だ。取得したデータに対しては、検索インデックスの付加、リアルタイムあるいは準リアルタイム処理など、さまざまな選択肢を利用できる。Metronでは、ElasticSearchを備えたHBaseと、LuceneとSolrのいずれかに対するインターフェースを提供している。デフォルトの管理およびダッシュボードインターフェースとしてはKibanaが使用されている。

Metronには、最近の標準的なデータパイプラインとは違う、いくつかの機能を備えている。ひとつは、脅威インテリジェンスのトリアージとフィールド変換用の言語であるStellarを通じた、一連のデータ変換ユーティリティとAPIとの統合である。これは、MetronのRESTfulなモデル・アズ・ア・サービス(MaaS)を通じてデプロイおよび実行される機能として動作する。MaaS機能はYamによって管理され、リアルタイムないし準リアルタイムな脅威検出および応答メカニズムとして実装されるように設計されている。また、データエンリッチメント用のツールセットは、さまざまなエンリッチメントおよび脅威インテリジェンスのソースをHBaseデータシンクにロードし、管理する機能を提供する。MaaS経由でデプロイされるマシンラーニングモデルは、このデータエンリッチメントの能力を補強するために使用される。そして最後に、プロファイラ機構が、メッセージバスから入力してHBaseに永続化されるリアルタイムないし準リアルタイムのテレメトリデータに対して、フィーチャの抽出とウィンドウニングを実行する

Owen O'Malley氏がApacheにおける同プロジェクトのリーダとして、OpenSOCからの最初のMetronの移植を担当する。