Logz.io、機械学習ベースのログ分析を提供

Logz.ioは、機械学習を利用することでインテリジェントなログ分析を実行するホストサービスを提供する。そして、技術フォーラムや公開コードリポジトリでのディスカッションを含むログデータと人間とのやりとりから、インサイトを提供することができる。

現代のアプリケーションはすさまじい速度でログやメトリックを生成している。DevOpsチームは、ELKスタックなどのツールを利用して、ログの集約とインデックス作成処理を集中管理する。しかし、ログの量は膨大なため、調べるのは容易ではない。収集されるメトリックも非常に増えているため、従来のモニタリングツールではそれを表示することぐらいしかできていない。このデータ量の増加により、閾値ベースのアラートは実行不可能な状況をもたらしており、それがAnomaly.io、Datadog、SumoLogicといった異常検知システムや、EtsyのSkylineのようなオープンソースのシステムの登場につながっている。

Logz.ioはこれをさらに進めて、インターネット上の人間とのやりとりから収集されたデータを機械学習することで、エラー条件を導き出してインサイトを提供する。そうしたやりとりには、StackOverflowやGithubにおける同様のエラー条件に関するディスカッションが含まれている。エラー条件を単純にGoogle検索するとあまりに多くの結果が返ってくるが、Logz.ioはどうやって関連するものをフィルタリングしているのだろうか？ InfoQはLogz.ioのCEOで共同創業者であるTomer Levy氏にコンタクトした。

Logz.ioは機械学習を利用して、スレッドのコンテキスト、スレッドが参照している製品、解決策があったかどうか、質問者にとって満足できるものだったかを理解します。また、これらのスレッドを私たち自身のユーザーから収集したデータと相互参照できるようにします。

さらに、Levy氏は「ユーザーにインサイトを提供したあと、それに対するユーザーとのやりとりに基づいて関連性を評価します」と述べている。こうしてフィードバックループを構築することで、システムは時間とともに改善されるという。

最近はほとんどの製品がオープンソースライブラリを使用して構築されているため、インターネットで製品のエラーや例外を検索すると、たいてい結果を得ることができる。公開されたコードを使わずに、製品を完全にスクラッチから作るまれなケースに対しては、将来的に「プライベートインサイト」をリリースして、「組織が独自の例外とその理由を定義できるようにする」予定だという。

Logz.ioはElasticsearch-Logstash-Kibana (ELK) スタックを使用している。このサービスはLogz.io独自のクラウドにホストされており、アプリケーションからログデータをそのサービスへパイプする必要がある。組織が独自のELKスタックを動かしている場合、オンプレミスにあるログシッパーとインテグレートすることができ、Logz.ioクラウドにデータを安全に転送するのに役立つ。

データセキュリティに関する企業の懸念にどう対処しているかという問いに対し、Levyはこう答えた。

私たちはデータ暗号化から包括的なセキュリティプロセスまで、セキュリティに投資しています。Logz.ioはセキュリティインフラ及びプロセスを監査するためにEarnest & Youngを雇い、最近SOC-2 Type 2とISO-27001準拠の監査を受けました。さらに、当社はデータを米国にホストしますが、EUに拠点のある企業はデータをフランクフルトに保管することで、EU規制に準拠できるようにしています。