社内でのDORA (DevOps Research and Assessment) 調査で、自社のソフトウェアデリバリーや運用状況を振り返ることができる。調査の設計実施や結果の分析方法で、得られる利益は大きく左右される。Carlo Beschi氏は、Agile Cambridge社でのDORA調査経験を語った。
Beschi氏の初めてDORA調査を実施は、2018年ASOS社でのことだった。当時チーム内では、ソフトウェアデリバリーだけでなく、運用もまかなえる取り組みもすでに行われていた。優先事項を確認してチームの方針を定め、予算追加に説得力を持たせることが調査の目的だった。
開発者側へ調査の説得もうまくできず、チームのマネージャー陣からも調査のメリットへの理解が得られなかったと、Beschi氏は語る。回答率は30～35％で、企業レポートの背景データも確かではなかった、と付け加えた。
調査を実施してすぐ、彼らは綿密な連携の上で調査を実施し、各チームのマネージャー自身にも参加してもらうよう働きかけた。
効果は絶大でした。DORAに理解を示すマネージャも現れ、「事務処理」サポートだけでなく、同僚マネージャーへの調査の説得を手伝う熱心なマネージャーもいたほどでした。回答率は70％を上回り、企業レポートの信頼性も高まりました。
2022年にTreatwell社の開発者と各チームでDORAのクイックチェックが実施された際、Beschi氏が調査結果の分析や検討をサポートした。
業界水準と比較して、非常に優秀なチームがほとんどでした。そのためクイックチェックは、肯定感底上げや「現状維持で十分」と労いをかけるに終わり、確信的な見解が得られることはありませんでした。
至極正当な理由があり、最新のエンジニアリングプラクティスから遅れをとるチームの評価内容には少々疑問が残ります。「上々」の評価がある一方で、ソフトウェアアーキテクチャやテスト運用の一部、定期的な製品への軽微な変更のデプロイなどの克服しなければならない課題の存在が分かっているからです。
そこで彼らは、能力スコアを導き出すために独自のモデルを構築し、さらにレポートを作成するための手作業を追加する必要がある、完全な調査を行うことに決めた。
報告作成の時間捻出には苦労しました。報告書の作成でチームを何週間も何ヶ月も待たせてしまい、議論も代り映えのないものが続きました。作業の勢いが削がれ、結果的にはスポンサーシップも失うことになりました。
Beschi氏は、同調査には非常に強い影響力があると言う。ソフトウェアのデリバリーやオペレーションの実施状況をはじめ、「最新」への追いつきの度合い、また、トップ層との働き方の違いや、遅れの大きさを検証するのに役立つのだ。
調査の回答後に、回答者一人一人が素晴らしい発見をするのを目にしてきました。また、DORA調査や回答から作成されたレポートの強力な鏡のような効果に、そしてアンケートに対するチームの回答から生成できるレポートに、チームが非常に感謝しているのを見てきました。
調査の設計、実施、分析は、それぞれが学びであり、その場しのぎで行ってよいものではない、とBeschi氏は述べた。ASOS社は、DORAの公式調査を実施し、DORA認定のサードパーティーに分析依頼をした。Treatwell社は、独自のアンケート作成を検討したが、発見と難航が数週間に渡り、作成は断念に終わった。
質問内容だけではありません。質問や発言の言い回しも重要になるのです。
Treatwell社は、DORAの公開調査を実施し、回答から能力スコアを変換する独自のモデルを開発した。Beschi氏は、DORAやGoogleに比べてあまり洗練されていないにもかかわらず、信頼の置ける満足なものに仕上げるには、経験豊富な人々でもかなりの時間を要したと述べた。
InfoQは、DORAの調査結果についてCarlo Beschi氏にインタビューした。
InfoQ:DORA調査から得られた主な知見は？
Carlo Beschi氏: ASOS社では、モニタリングとアラートの全面的な改善の必要性を感じていました。DORA調査でも必要性が確認できたため、翌年には、この分野への多大な費用と時間の投資を自信をもって行うことができました。
Treatwell社では、いくつかの例外はあるものの、一連のデリバリーが綿密に行われていることが調査で確認できました。しかし、テスト自動化はまちまちで、スコアがもっとも低かったのは、ドキュメンテーションとセキュリティの分野でした。
事前に予想はついていましたが、「検証済み」の事実になると強く訴えるものがあります。セキュリティ分野は2024年の最重要課題となり、上半期の間で同分野での目覚ましい変化を目の当たりにしてきました。
InfoQ: モデルや調査を独自に構築したことで得られたメリットには、他にどのようなものがあったか？
Beschi氏：Treatwell社で独自調査を「社内」実施したことで、ありとあらゆる質問に対する回答を得ることができました。全データを丸ごと好きに"調理"することができたのです。
ASOS社で、チームから8人の開発者がドキュメンテーションにまつわる6つの質問に回答し、能力スコアの結果が3.5だったとしましょう。また、Treatwell社では、6つの質問にに8人全員からの回答を得ることができたとしましょう。
回答からは、さらなる気付きが得られます。「誰がどう回答したか」はわかりませんが、報告書や報告会でチームに問い直すことができます。
例えば、「みなさん、ここの回答を見てもらいたいのですが、当社の技術文書は理解がしやすい という質問に対して、3人が『強くそう思う』と答えた一方で、4人は『そう思わない』と答えたようです。 」と言ってみましょう。何かヒントが得られるかもしれません。
感じ方の理由を知ることは、非常に有益です。物事を変えるために何ができるかを考える助けになるでしょう。