IBMは、最近 巨大なデータフローを処理することができるソフトウェアアーキテクチャのプロトタイプを作成した。IBMのソフトウェアは、SKA (Square Kilometre Array) 望遠鏡用に作られ、自動的に天体オブジェクトを分類することができる。ニュージランドWellington にあるVictoria大学で、ラジオ波天文学者 の Melanie Johnston-Hollitt氏は、IBMと協働でこのシステムを開発している。
SKAプロジェクトの一番の目標は、オーストラリア、ニュージランドから南アフリカまで広がって存在するパラボラアンテナとアンテナのネットワークを使って、ラジオ波の発信元に対する前代未聞の観測を行うことである。一番の設計的困難は、一日当たり1 Exabyteの生データをいかに処理するか、ということである。これは、世界で最も大きく、最も感度の良いラジオ望遠鏡であるSKAシステムが稼働した時に、予想されるデータ量である。その制作は2016年に開始する。IBMは、このデータ量は、毎日のインターネットのトラフィック量よりも大きい、と言っている。この量は、1500万個以上の64 GB iPod をデータ満杯にするのに相当する。
IBMは11月30日にプロトタイプを完成した、とアナウンスした。
データ管理を自動化する新しいソフトウェアアーキテクチャは潜在的に、研究者が宇宙の未解決問題に取り組むことを目的にしたSquare Kilometre Array (SKA)グローバル望遠鏡のような、巨大規模のデータ収集プロジェクトから有益な情報を集めるのをより簡単にしてくれます。
Dr. Melanie Johnston-Hollittのサポートにより、IBMはInformation Intensive Framework (IIF)を作成した。IBMによれば、 International Virtual Observatory Association Ontology（国際仮想天文台協会オントロジー）を使って、集めたデータを天文学者が理解できる概念に分類し、次にインテリジェントな「ガイド付き探索」機能を提供する。オントロジーは、技術的に Ontology Web Language(OWL)をベースにしている。分類を自動化することで、天文学者は、生産性と創造性を増すことを期待している。
元々SKAのために開発されたIIFだが、他のドメインでも利用されるだろう。 IBM New Zealandの Chief Technology Officerである Douglas Watt氏は、以下のように説明している。
SKAのために開発されましたが、その成果は「データの大洪水」 に直面している他の組織にも適用できます。我々はパフォーマンスデータを自動的に分析することで、傾向を把握したり、異常を認識したり、決定を改善するのに役立つような、いくつものローカルなシナリオを知っています。
他のトピックとして、IIFの更なる開発には、並列処理を利用することによる、パフォーマンス改善の達成が入るだろう。
SKAプロジェクトに興味のある読者は、SKAのいくつもの印象深い詳細を図解しているFlickr の画 を見ると良い。