データメッシュ組織は、プロデューサー、コンシューマー、そしてプラットフォームで構成される。Matthias Patzak氏によると、プラットフォームチームの使命は、プロデューサーライフとコンシューマーライフをシンプルで効率的かつストレスフリーにすることだという。データは組織全体で、検出可能で理解しやすく、信頼でき、安全かつ簡単に共有できなければならない。
Matthias Patzak氏は、FlowCon Franceでデータメッシュプラットフォームについて講演した。
InfoQの記事「データメッシュプラットフォームはデータプロデューサーとコンシューマーをどうつなぐか」の中で、Patzak氏はデータメッシュのコンセプトについて説明している。
データメッシュは企業がデータから価値を創造する方法における組織的なパラダイムシフトであり、責任がデータプロデューサーとコンシューマーの手に戻る手法です。データメッシュは、プロデューサーとコンシューマー間のコミュニケーションのプロキシおよびボトルネックと化したデータ組織を消し去ります。
Patzak氏はデータメッシュ組織には3つの役割:プロデューサー、コンシューマー、プラットフォームがあると述べた。プロデューサーは、Webストアや ERPシステムなどのアプリケーションを用いてトランザクションデータを生成するチームのことだ、と彼は説明した。データメッシュアプローチでは、プロデューサーはアプリケーションを拡張し、トランザクションデータを分析に使い易くする。
コンシューマーは、分析データからマーケティング、財務、セールス等の洞察を生み出すチームだ。彼らは独自のビジネスインテリジェンス(BI)や分析アプリケーションを構築する、とPatzak氏は言う。
これを効率的かつ適度に標準化された方法で行うために、データプラットフォームも存在する。Patzak氏の説明のように:
データプラットフォームは、プロデューサーライフとコンシューマーライフをシンプルで効率的、かつストレスフリーにするツールとインフラを提供します。
データメッシュプラットフォームは、プロデューサーとコンシューマーをサポートするチームで構成される。これらのチームはツール化とインフラ、トレーニングとコンサルティング、ガバナンスとセキュリティを提供すべきだ、とPatzak氏は言う。
Patzak氏は、J. Majchrzakらの著書『Data Mesh in Action』、データプロダクトを「ユーザーのニーズを満たすために作成された少なくとも1つのデータセット(ドメインデータセット)を含む、自律的で、読み取り最適化された、標準化されたデータ単位」と定義している、を紹介した。彼はこの定義を適用した:
「データプロダクト」とは、クロスファンクショナルなチームによって厳選された自己完結型のデータセットで、エンドユーザーに価値があり使いやすいよう設計されています。その目的は、分析に適した信頼性の高い質の良いデータを提供し、意思決定を促進することです。
Patzak氏は、データメッシュ内でデータをデータプロダクトに変換するには、単なる生データ以上のものが必要だと述べた。それにはメタデータ、コード、コンフィギュレーションファイル、インフラストラクチャ、実際にはインフラストラクチャ・アズ・コードを含むデータの集合体が必要だと彼は付け加えた。
Patzak氏は、データは発見しやすく、理解しやすいものでなければならないとし、技術的、組織的な観点から、ユーザーが見つけやすく、内容が明確であることを保証しなければならないと述べた。また、信頼できるものであるべきであり、信頼性ある利用を確保するために完全性とSLAを維持する必要がある。何よりも、データは安全であるべきであり、組織全体で安全かつ容易に共有できるようにする必要がある。
単にデータプロダクトを構築し提供するだけでは、成功やベネフィットは保証されない、とPatzak氏は強調した。データプロダクトの成功を測定し、証明しなければならない。その最良の方法は、トランザクションアプリケーション機能同様に、A/Bテストでデータプロダクトの使用が付加価値をもたらすかどうかを測定する仮説駆動型実験だ、と同氏は締めくくった。
InfoQは、データメッシュの利用についてMatthias Patzak氏にインタビューした。
InfoQ: データプロデュサーとデータコンシューマーはどうすれば効果的に連携できるのか?
Matthias Patzak氏:アジャイルマニフェストに記されているように「開発チーム内での情報伝達の最も効率的かつ効果的な方法は、対面での会話である』。データのプロデューサーとコンシューマーは直接コミュニケーションし、協力し、共に創造すべきです。
データメッシュを実装する際は、異なる二つの部門が成功裡に共同作業しているアジャイル、マイクロサービス、特にDevOpsを通じて、私たちコミュニティが既に学んできたたくさんのことを適用できます。人とプロセスの観点からデータメッシュも違いはありません。
InfoQ: コンシューマーは価値を生むためにどのようにデータを利用できるのか?
Patzak氏: プロデューサーと同様に、コンシューマーも顧客とその問題から逆算して考える必要があります。データプロダクトは、非常に具体的な洞察を生み出し、人的または自動化された意思決定を可能にしなければなりません。
InfoQ: データメッシュでデータプロダクトを見つけやすくするにはどうすればよいか?
Patzak氏: 大規模な組織では、データカタログは電話帳やディレクトリのように有用ですが、特定のデータセットを検索してすぐに利用するためのものではありません。代わりに、データカタログの主な目的は、データプロダクトのオーナーを発見し、データプロダクトに関する一定のコンテキストを提供することです。次のステップは、データプロダクトのオーナーに連絡を取り、直接コミュニケーションを取ることです。