データエンジニアリング

本記事はウェブメディア「Modern Times」へ2023~2024年に寄稿したものを同メディアの閉鎖に伴い加筆・修正のうえ再掲したものです。 先行指標と遅行指標 データ分析の現場ではさまざまな指標が使われていますが、その指標が事象に対して先んじた数値なのか、それとも後から結果を説明している指標なのか、という違いは重要です。前者は先行指標、後者は遅行指標と呼ばれます。 先行指標と遅行指標にはどのようなものがあるでしょうか？例えば、あなたがSaaSのような月額課金サービスを提供しており将来のユーザ数を知りたいとしましょう。この数値に影響を与える指標はたくさんありますが、そのなかでも獲得しているリードの数は先行指標になります。一方で顧客の離脱率は遅行指標です。 先行指標は現在の活動のうち将来に影響を与える要因を数値にしたもので、これから起きうる事象を推測するために使えます。たとえばリード数は将来ユーザになる見込み顧客の数なのでリード数に課金率を掛けることで獲得顧客数を見積もることができます。 遅行指標は過去の成果を測定した指標であり既に起きたことを示す数値です。結果を表す指標なのでサービスの成功や失敗を評価するのに役立ちます。たとえば顧客の離脱率は既にサービスから離れてしまった顧客の割合です。これは結果そのものでありサービスの性能を明確に示します。 先行指標のもつ課題 では、先行指標と遅行指標のどちらが有用な指標でしょうか？同じことがわかるならば先にわかるほうが役に立つことは間違いありません。サービスから離脱した顧客の数がわかってもその顧客へ対策することは難しいですが、サービスを離脱しそうな顧客の数がわかれば先んじて対策を打つことができます。ですが実際のところそんな簡単にはうまくいきません。先行指標は有用ですが遅行指標と比べたときにいくつかの弱点があるのです。 先行指標がもつ弱点の1つは先行指標を決めることが簡単ではないということです。遅行指標はいわば結果なので直感的に決めることができますが先行指標はそこからカスタマージャーニーを遡ったりサービス上の行動を深堀りするなど調査が必要になります。ビジネスはさまざまな要因が同時に影響し合うため有用な先行指標を特定することは簡単ではありません。特にサービスを立ち上げた初期はデータが不足しているためどの指標が先行指標たりうるのかわからないことも少なくありません。 2つ目の問題は、先行指標には不確実性が伴うことです。遅行指標は結果そのものなので将来予測という意味での不確実性はありません。離脱率は離脱という事実の集計値であり、そこに「これからどうなるか」という曖昧さはありません。一方、先行指標は現時点の状態から将来の値を推測するものなのでどれだけ精度を上げても予測が外れる可能性は残ります。現在の見込み顧客数から将来の獲得顧客数をある程度は予測できますが、実際にその値になるかどうかはやってみないとわかりません。自分たちが知らないところで問題が起きて推測値より大きく下がるかもしれませんし、そうでなくても様々な要因で上下にブレが発生することは容易に想像できるでしょう。 遅行指標の有用性 このように先行指標には課題がいくつかありますが、一方で、遅行指標にも問題はあります。遅行指標は既に起きてしまったことから集計された値ですので、その問題そのものを解決することはできません。たとえば離脱率を計測しても既に止めてしまったユーザそのものを復帰させることは極めて難しいでしょう。 遅行指標は結果そのものであり確実な指標になります。そのため問題を特定する旅の出発点として有用でしょう。先行指標から課題を探すには先行指標がもつ不確実性に目を向ける必要があります。その指標がもつリスクを理解しなければ誤った分析をしてしまう可能性があります。それに比べて遅行指標は明地に足のついた指標で何を示しているのか明確です。そのため遅行指標を起点に課題を探すことで空回りを減らし、結果として早く改善サイクルを回すことが可能になります。 立ち上げたばかりでデータが少ないサービスでは先行指標を探すことが困難というのは先に述べたとおりです。さらに、自分たちのサービスの価値や課題に対する知見が溜まっていない状態で課題を探すのは難しいものです。それよりは、まず遅行指標から自分たちの明らかな課題を解決し顧客を理解しながら徐々に先行指標を探索していくとよいでしょう。 先行指標と遅行指標の特徴を活かす KPIはさまざまな側面から見ることが重要です。先行指標という不確実性をもった早期発見と遅行指標という遅れて届く確実な報告、このどちらもが必要になります。どちらか片方ではなく両方を上手く組み合わせることで自分たちの意思決定をより良いものにすることができます。 自分たちの細かいアクションの効果は先行指標が敏感に反応するため便利でしょう。施策の効果が遅行指標に現れるまで待つ必要がなく次々と手を打つことができます。しかし、先行指標はあくまで予測でしかありません。最終的な成果は遅行指標を見ることによって正しく評価する必要があります。この先行指標を見ながら改善を行い遅行指標で確認するというサイクルを回すことで早く確実に改善を実施することができるようになります。 冒頭のSaaSの例で具体的に考えてみましょう。まず遅行指標である離脱率を見て「契約から3ヶ月以内の離脱が多い」という確実な課題を見つけます。次にその原因を遡り、たとえば「オンボーディングで特定機能を使ったユーザは定着しやすい」という仮説を立て「初週の機能利用率」を先行指標として設定します。あとはオンボーディング施策を打ちながら、この先行指標が日次・週次でどう動くかを見ながら施策を打ち、数ヶ月後に離脱率という遅行指標で本当に効果があったかを答え合わせします。先行指標で素早く回し遅行指標で確かめるというのがこのサイクルのポイントです。 先行指標は将来の成果を予測する道標、遅行指標は過去の成果を評価する物差しです。この2つを組み合わせて初めて早く・確実に改善を進めることができるのです。

本記事はウェブメディア「Modern Times」へ2023~2024年に寄稿したものを同メディアの閉鎖に伴い加筆・修正のうえ再掲したものです。 定量的な評価が野心的な目標を阻害するという誤解 近年、ビジネスや組織の世界では定量的な目標管理が重要視されています。組織全体が一体となり戦略的方向性を確保しながら成果を最大化するためには明確な目標設定とそれに伴う定量的な測定が両方が必要だからです。 一方で、定量的な評価に対する誤解も少なくありません。「定量的な評価は野心的な目標の策定を妨げる」「数値で表現できる目標しか設定できない」「定性的な目標は定性的にしか評価できない」といったものです。これらは典型的な誤解で、実際には野心的で定性的な目標を掲げながら達成度を定量的な指標で評価することは十分に可能です。 このような組み合わせをうまく組み合わせたのがOKRと呼ばれるフレームワークです。本記事ではOKRとKPIの関係を説明しながら野心的な目標を定量的に評価する方法を解説します。 OKRの概要と特徴 まずはOKRについて簡単に解説しましょう。OKRとはObjectives and Key Resultsの略称で組織やチームが目標に対する成果管理を効果的におこなうためのフレームワークです。このフレームワークは組織の方向性を明確に示し目標に向かってチームが一体となって動くためのツールになります。 Objectives（目標）は組織やチームが達成したい具体的な目標や方向性を示します。これらの目標はビジョンや目的を示しチームメンバーに組織の方向性とその意義を明らかにします。基本的にはこのままだと達成が無理だろう、というくらいのストレッチした目標を設定します。 Key Results（成果指標）はその目標の達成を評価するマイルストーンです。Key Resultsは目標達成の進捗状況や成功度を測定するための指標であり基本的に数値によって表現されます。これらの成果指標は目標達成度を客観的に評価し、チームが目標に向かって前進するための進捗度を定量的に把握することができます。 OKRは組織やチームの目標を明確にし透明性とフォーカスを高めることでチームメンバーが共通の目標に向かって協力するための枠組みです。70%も達成できれば成功といえるようなストレッチゴールを設定することで、野心的な目標を掲げながら達成度を客観的かつ定量的なマイルストーンによって評価できます。このように野心的な目標と定量的な評価を組み合わせたものがOKRです。 お互いに補い合うOKRとKPI 次はOKRとKPIの関係についてかんがえてみましょう。少なくない人たちがOKRとKPIについて「OKRを導入するためにKPIは必要ない」とか逆に「KPIがあるならOKRはいらない」とか「OKRは難しいからKPIがあれば十分」だという人もいます。このような認識はあまり正しいとはいえません。OKRとKPIは組織と目標の管理についてお互いに別の存在でありながらお互いに補完しあう存在です。 OKRは野心的な目標の設定とそれに対するマイルストーンを示す枠組みです。Key Resultsはあくまでも目標に対する進捗を示す期間限定の目標値です。そのため、プロジェクト単位や四半期といった区切りごとに設定し直されます。この仕組みはチームの向き先を揃え評価軸をクリアにすることで集中力を高めます。 一方でKPIはサービスのパフォーマンスを評価する総合的な指標の集まりです。自分たちのサービスの現状を評価するために組織が継続的に監視すべきいわば健康診断です。目標へのマイルストーンというよりは現在がどのような状態なのか確認するために使うという向きが強いでしょう。 同じ数値を扱っていてもOKRのKey Resultsは前に進むための「狙い」であり、KPIは健全さを保つための「定点観測」という役割の違いがあります。この役割の違いがあるからこそ両者は相互補完的に機能するものなのです。 OKRとKPIを連携させる手順 では、OKRとKPIを使った仕組みを構築しようとしたとき両者は自然と統合するのでしょうか？そんなことはありません。お互いの特徴を考慮したうえで上手くすり合わせることが不可欠です。 OKRとKPIどちらから手をつけるべきでしょうか？まずはKPIからスタートしましょう。自分たちの組織やビジネスにおいて把握するべき重要な指標を見つける必要があるからです。どんな指標が自分たちにとって重要でありアクションを生み出すことができるのか知らなければOKRに利用することもできません。 KPIが整理されてきたら次は組織やチームで長期的な目標をOKRのフレームワークで検討します。目標は具体的で野心的なものであるべきであり組織全体が共有する方向性を示すものとしましょう。そして、この目標を達成を示すKey ResultsとしてKPIを中心に議論し選択します。 Key Resultsの選定には目標との関連性や測定可能性、具体性などを考慮しながら目標達成を示すための指標であることも重視されます。KPIを分解したり、その周辺の指標をピックアップすることもあります。 さらに組織やチームは定期的なレビューや進捗報告をとおしてOKRとKPIの連携を確認し調整をおこないます。OKRもKPIも一度作って終わりではなく継続的に改善をする必要があります。特にOKRは設定したもののKey Resultsがマッチしていなかったということはよくあります。レビューや報告の際に得られたフィードバックや洞察を活用し改善していきましょう。 このようにしてOKRとKPIを統合することでOKRによる定性的な目標と定量的なマイルストーン、そしてKPIという総合的な定量評価が協働するようになります。組織やチームは目標を達成するための組織の方向性と定量指標を通した効果的なマネジメントが可能になるのです。 ケーススタディをかんがえてみる それでは、具体的にOKRとKPIをどのようにして連携させればよいのかWeb広告運用の組織を元に簡単な例をかんがえてみましょう。Web広告運用をするのであれば購買へ繋がったユーザーの流入経路であったりセグメントごとのインプレッション数、コンバージョン率、広告のコストなどの数値が重要な指標であることは明らかでしょう。つまり、これらの指標がWeb広告運用におけるKPIとなります。 この状態から新しいキャンペーンをおこなうとしたらどのようなOKRを立てるべきでしょうか？たとえばObjectiveとして「新しいキャンペーンを成功させる」とおいてみましょう。このときKey Resultsとして「キャンペーン広告のインプレッション数を他広告の150%に向上させる」「キャンペーン広告のCTRを他広告の120%に向上させる」「キャンペーン経由のROASを2.5以上にする」といったものがかんがえられます。これらはどれもKPIとして使っている指標に定量的な目標値を設定したものです。これはObjectiveのKey ResultsをみながらKPIも監視している状態になります。 ここで注意したいのは、同じ「インプレッション数」という指標でも、Key Resultsとして使うときとKPIとして使うときでは見方が変わるという点です。Key Resultsの「他広告の150%」はキャンペーン期間中に狙う野心的な目標値であり、ストレッチゴールとして設定するなら70%程度の達成でも成功とみなせます。つまり未達を前提に高く掲げる数値です。一方で、KPIとしてのインプレッション数は「ふだんの水準から大きく落ち込んでいないか」や「キャンペーンによってどれくらい変化したのか？」を継続的に監視するための指標であり達成・未達という発想では捉えません。同じ指標でもマイルストーンとして捉えるKey Resultsと健全性を定点観測するKPIと2つの側面があるわけです。 このようにして、キャンペーンの成功を目標にKey Resultsの進捗を追いかけることでOKRの進捗を定量的に把握することができました。同時に、インプレッション数やCTR、ROASなどの指標はふだんからKPIとして追いかけているものですからチーム全体の健全性も管理することができています。もしOKRだけ見ていると集中こそできますが目標以外の側面で組織を管理することができず、いつのまにかサービスは不健全な状態に陥っているかもしれません。逆にKPIだけでは野心的な目標とその進捗を管理することは難しいでしょう。両方を協働させるように設定することで野心的な目標へのフォーカスと組織の管理を上手くおこなうことができるのです。 OKRとKPIは組織やチームが目標を達成するために欠かせない要素です。両者は異なる側面を補完し合い組織やチームが目標に向かって効果的に進むための道しるべとなります。OKRとKPIを連携させることで共通の目標へ集中しながら同時に組織全体の健全性を保つことができます。そのためには両者が相互に補完しているということを理解し活用することが重要なのです。

本記事はウェブメディア「Modern Times」へ2023~2024年に寄稿したものを同メディアの閉鎖に伴い加筆・修正のうえ再掲したものです。 データ分析はますます企業や組織において不可欠な要素となってきました。しかし、データをビジネスで活用するためには単なる数値や統計の分析だけではなく特定の業界や領域に対する深い理解が必要です。本記事ではデータ分析者が身につけるべきドメイン知識とはなにものなのか探っていきます。 ドメイン知識の無い分析は間違った意思決定を招く データ分析者のスキルの1つとしてドメイン知識が重要であることは多く言われていますが、そもそもなぜドメイン知識が必要になるのでしょうか？データ分析者が特定の業界や領域のドメイン知識を持つことが、データをただの数字の集まりでなく意味のある情報として扱うことができるようになるからです。 ビジネスにおいては、商品や市場の特性、法律、規制、商習慣、サプライチェーン、ビジネスモデル…etc とデータ分析を行うにあたって考慮すべき事項は多くあります。ドメインに関する理解という下地が不足した分析は正しい結論が得られないどころか誤った意思決定を加速させてしまいます。 なぜこのような状況が起きるのでしょうか？1つはドメイン知識の不足は課題を理解するうえで大きな障害となることにあります。分析の課題がどのような背景から発生し、どのような分析を行えば解決にたどり着けるのか把握するためにはその分野を理解している必要があります。 2つはデータは常にドメインの商習慣などの影響を受けているにも関わらずそれを理解せずに分析した場合は間違った解析結果を生んでしまう点にあります。たとえば、ある月の売上が突出していたとき、それを単なる外れ値とみなして除外してしまうと分析を誤ることがあります。実際にはその業界では決算期に需要が集中するという商習慣があり、その山こそが事業を理解するうえで最も重要なシグナルだった、というような事態は珍しくないでしょう。ドメインを知らなければ「意味のある偏り」を「ノイズ」として捨ててしまいかねません。 データ分析における課題の設計・データの処理・データの解釈というすべてのステップでドメイン知識は影響してくるということです。 3種類のドメイン知識 それではドメイン知識にはどのようなものがあるのでしょうか。たとえば法律や規制、ビジネスモデル、プロダクトの知識…などなど個別に挙げれば枚挙にいとまがありません。ここでは3つのジャンルにわけて整理します。 1つ目は業界の知識です。これは特定の企業によらず、その業界全体に共通する外部環境に関する知識を指します。法律や規制、商習慣のような知識がこれにあたります。医療や金融のように法律や規制が厳しい業界であれば非常に重要になります。そうでなくても商習慣のような知識は課題を理解するうえで有用です。特に意思決定者とスムーズなコミュニケーションをとるために背景となる業界の知識が求められます。 2つ目は業務の知識です。これは特定の職種や現場のオペレーションがどのように回っているか、どのような分析が求められるのかという点に関する知識を指します。業界をまたいで共通する点が多い点が1つ目の業界の知識との違いです。たとえばWeb広告の分析を行うならWeb広告運用の知識が必要です。営業なら営業、カスタマーサポートならカスタマーサポートの知識が求められます。具体的にデータを分析して現場のマネージャーとコミュニケーションして業務改善をしていくならば業務理解が重要です。 特に分析者の目線でいうならば、データドリブンが広まった現代では業務ごとによく行われている分析やKPIがありますので、そのような定番のやり方を知っておくと有用です。教科書的なテクニックは書籍や勉強会などで共有されているものも多くあり学ぶことが可能です。 3つ目は自分たちのサービスの知識です。これは自社の事業に固有の外からは見えない内部の知識を指します。自社のビジネスモデルやサプライチェーン、システムの設計などがあたります。このような知識は自分たちのサービスを改善するときに強く求められます。プロダクトマネジメントにデータを活用するならば必須となるでしょう。その会社の事業特有の知識となるため一般化しにくく社内での経験値が必要です。 実際にデータを分析するにはデータがどこからどのように作られているのか知る必要があります。そのためには自分たちのサービスの仕組みを知らなくてはいけません。これはデータベースの構成のような限られた話ではありません。誰がどのようにどのタイミングでデータを入力するのか、そのデータが自分たちの分析環境までどのような処理がされているのか把握するということ観点も必要です。 ビジネスにおいては、業界の知識、業務の知識、サービスの知識の3つのドメイン知識を必要に応じてバランスよく学ぶことが求められます。実際の分析を考えると、どれか1つだけあればよいというものではありません。たとえば、データの偏りはシステム・業務・業界どの要因でも発生しうるものです。妥当なデータ分析を行うためには幅広く必要な知識を身に着けておく必要があります。もちろん、それらをすべてを完全に理解することは不可能ですが、必要に応じて理解を深めていくことが求められます。 どのようにして学んでいけばよいのか？ ドメイン知識について大きく3つに分類して整理しましたが、それでは実際にドメイン知識を学ぶためにはどのようにすればよいのでしょうか？最も基本的な学び方は専門家に相談することです。専門家というのは同じドメインの分析者に限りません。その分野で仕事をしているさまざまな方から学ぶことがたくさんあります。 業界の知識が必要であれば分野のスペシャリストに相談すれば良いでしょう。どのような場面でも分析対象のスペシャリストがいるはずですので、知っておくべき基本的な知識やそれを学ぶための方法を尋ねてみましょう。業界でよく読まれている書籍などを教えてくれるはずです。業務であれば部門のマネージャに相談すればチームの研修資料があるかもしれません。システムの知識であれば現場の開発者が参照しているwikiなどのナレッジが参考になるでしょう。 効率的に学ぶにはすべてを学ぼうとしないことが重要です。まずは目の前の分析の意思決定に直結する知識から優先的に押さえ関係の薄い領域は後回しにする。限られた時間のなかでは優先順位づけそのものがスキルになります。質問をするときは分析と紐づけると学びが多いです。「この業界について教えてください」ではなく「このデータでこの月だけ値が跳ねているのは何か理由がありますか」と手元のデータに紐づけて聞くことで専門家から引き出せる情報の質が大きく変わります。そして、なによりも学んだことをドキュメントやデータ定義として残し次の分析や他のメンバーが再利用できる資産にしていきましょう。 独学で抱え込むのではなく専門家を起点に学んでいくことがドメイン知識を得るうえでもっとも近道です。データ分析者は各分野のスペシャリストであることは多くありません。全く知見がないという状況もあるでしょう。そのようなときに無理に独学で知識を得ようとするのではなく素直に専門家を頼るべきです。 「わからないことは専門家に相談する」というとなんだか単純で当たり前のことをいっているように見えるかもしれません。ですが、分析の対象がコロコロと変わることの多いデータ分析者という仕事をうまく回すには、その当たり前をうまくやるというキャッチアップの技術も必要です。 冒頭で述べたとおり、ドメイン知識は課題の設計・データの処理・解釈というすべての段階に影響します。だからこそ、その知識をいかに速く・的確に身につけるかというキャッチアップの技術は分析スキルそのものと同じくらい高い価値のアウトプットを出すために重要なのです。

本記事はウェブメディア「Modern Times」へ2023~2024年に寄稿したものを同メディアの閉鎖に伴い加筆・修正のうえ再掲したものです。 どのように指標を選べばよいのか 前回の記事ではデータドリブンになる良い指標について解説しました。良い指標とは学ぶことができる指標であり、行動を変える指標です。このような良い指標についてより深く解説していきます。 学ぶことができる指標を考えるときなにから考えればよいでしょうか？実際のところ、まずは教科書的な指標からスタートするケースがほとんどだとおもいます。現代では多くの分野で定番とされるような指標が知られています。たとえば顧客の離脱率や顧客単価、広告のCTRやコンバージョンレート、NPS…などはよく使われる指標です。これらの指標を起点に使うべきKPIを考えていきます。 これらの指標をそのままKPIにすることもあれば、分解して使うこともありますし、セグメントなどでスコープを狭めて使うこともあるでしょう。たとえばCTRはインプレッション数とクリック数に分解できるのでそれぞれ別に追いかけたほうがよい場合もあります。特定のユーザ属性でセグメントにわけることが有用なケースもありますね。 他にも、重要な指標に関係がありそうな数値をKPIとして選ぶこともあります。問い合わせ満足度の改善では解決率や応答率を見ることがあるでしょう。機能の利用率や到達率などはサービスの改善で定番です。これらの指標もさらに分解したりセグメントで切り分けることもあります。 いずれにせよ、指標は切り方を変えたり細かく具体的にするなどいくらでも作ることが可能です。 気温をKPIにしても何も学べない 指標は作ろうと思えばいくらでも作ることができますが、どの指標が最も自分たちの今一番ほしい学びを与えてくれるのでしょうか？学ぶことができる指標の重要な条件は、その数値を改善したくてたまらない上に自分たちにその指標を改善できそうな仮説があることです。 たとえばアイスの売上と気温に相関があると言われていますが、アイスを売りたいからといって気温をKPIにしても意味がないことはすぐにわかるでしょう。気温は私たちにコントロールできない変数であり、ただ受け入れることしかできません。自分たちのアクションで動かせない数字をいくら眺めても、そこからは何も学ぶことができないのです。 顧客満足度をKPIにするのはどうでしょうか？顧客満足度はぜひ改善したい数字ですし、なんだか改善するアイディアもありそうです。これが、ユーザが100人のサービスであれば、たしかにアイディアから試行錯誤して数値を改善することは可能かもしれません。もしユーザが10万人のサービスだったらどうでしょう。アイディアがあったとして施策と数値を関連付けて改善サイクルを回すことができるでしょうか？なかなか難しそうですね。なにをやっても良かったのか悪かったのかぼんやりとしてしまいそうです。 ユーザが10万人のサービスでも特定のセグメントに絞り込めば対象となるユーザを減らすことはできます。顧客満足度を改善したいとして性別や居住地、年齢、行動などからスコープを小さくすることは可能です。そうして100人のユーザに絞り込むことで改善サイクルを回すことは可能になるでしょう。しかし、この場合は全体への影響が限定的になります。改善できるが影響は小さい、逆に全体を狙うと改善サイクルが回せない。このトレードオフは指標を選ぶとき重要な論点です。 もちろん、これは極端な例になります。実際の現場ではこれほどわかりやすくありません。多くの指標は改善ができそうなできなさそうな…と曖昧なレベルであることがほとんどだとおもいます。では、その中から自分たちにとって有用な指標をどのように探せばよいのでしょうか？ 指標のバランス ちょうどよい指標を探すにあたって課題になるポイントは、同じ指標でも状況次第で良い指標にも悪い指標にもなりうるということです。あるときは妥当なKPIであっても次第にサービスの種類や規模、目標が変化することで学びを得ることのできない不適当な指標となります。 指標を検討するときは対象となるユーザの規模や自分たちの施策の影響が及ぶ範囲から考えるとよいでしょう。数字から学ぶためには自分たちのアクションと指標が対応している必要があります。ユーザが増えれば特定のセグメントに対する施策が増えていきますし、その効果を見たいならばそのセグメントの数値に注目したほうがわかりやすいということです。 サービスの立ち上げ期はアクティブユーザ率やChurn Rateのような定番のユーザ全体に係る抽象的な指標をKPIとして選ぶことが多いでしょう。このような指標はビジネスに直結する指標であり、最終的に改善したい指標となります。このフェーズではサービスの課題が多くアクションがユーザ全体に影響を与えることが多いため、これらの指標をそのまま使うことで多くのことを学ぶことができます。むしろ、ユーザが少ないので細かい指標を見ようとしてもノイズがひどくて知見を得ることが簡単ではありません。 一方で、サービスが成熟してくると上記のような指標では学ぶことが難しくなります。これはユーザが増えれば増えるほど指標の変化が小さくなり施策による効果がわかりにくくなるためです。多様なユーザが増えればそのぶん施策を検討する幅も広がります。そのため、指標を分割したりセグメントを切ったりしてスコープを狭めた指標を大本のKPIの下位にぶらさげてツリーとして利用します。たとえば、特定の機能の利用率のような具体的なユーザの行動をChurn Rateの下位においたり、全体のコンバージョンレート改善に対して特定の流入経路やユーザの属性をセグメントとして絞り込んだ指標を参照するやり方は広く行われています。 指標は分割したりスコープを狭めたりすれば理解しやすくコントロールしやすい数字にすることができますが、本来改善したい指標への影響が限定的になったり、本来改善したい指標と実際に追う指標の距離が離れて両者の因果が不確実になっていきます。このトレードオフに対してちょうどいいバランスの指標を探す必要があるのです。 指標は常に模索するもの 抽象的な指標から始まり次第に具体的な指標を見るという流れはデータドリブンな組織だと自然に行われています。最初はChurn Rateや顧客満足度のような指標を追いかけたとして、次第にサービスが拡大し施策が具体的なターゲットへ移っていくため自然と指標も具体的なKPIが設定され改善活動を行うことになります。 なにか素晴らしい指標を見つけたとして、それをずっと追いかけているだけではデータドリブンになることはできません。変化の激しい現代では市場やビジネスが変化し続けることが前提となります。そうなれば、当然、追いかける指標も改善されなければいけません。 データドリブンな組織はKPIから自分たちがなにか新しいことを学ぶことができているのか常に考えています。指標を使って改善サイクルを回すだけでなく良い指標を探して改善するサイクルを回すことがデータドリブンでは重要なのです。

本記事はウェブメディア「Modern Times」へ2023~2024年に寄稿したものを同メディアの閉鎖に伴い加筆・修正のうえ再掲したものです。 意思決定を駆動しないデータたち 勘や経験だけではなくデータに基づき客観的な意思決定をおこなうデータドリブンという考え方はビジネスの世界でも広く使われるようになりました。多くの企業ではデータ分析チームを組織しデータを意思決定に活かそうとしています。しかし、本当にデータによって駆動できている会社は多くありません。 データを集めてもデータドリブンでない企業はそれを眺めているだけになっています。さまざまな指標を集計したりダッシュボードを作成したりしていますがそれで満足しているのです。データから自分たちの意思決定を改善したりユーザを理解することができていないのであれば、それはデータドリブンとは言えないでしょう。 自分たちが重要だと考えている指標が上がったり下がったりしたとき、自分たちの考えや行動はどのように変わるでしょうか？この質問はデータドリブンな組織において非常に重要です。もし答えられないのであればデータが組織を駆動しているとは言い難いでしょう。データドリブンな企業ではデータが意思決定を改めるのです。 優れた指標によって自分たちの意思決定を駆動しましょう。良い指標を設定することができれば、組織の意思決定は指標によって突き動かされていきます。では、そのような優れた指標とはどのようなものなのでしょうか？良い指標と悪い指標の違いは？データドリブンな指標の考え方について解説していきましょう。 優れた指標とはなにか？ 意思決定に使えるデータドリブンな優れた指標はどのような指標なのでしょうか？良い指標には大きく3つの条件があるとわたしは考えています。値の変化から学べること、その学びによって行動が変わること、そして施策による変化を捉えられることです。逆にいえば、指標を設定してもそこから学ぶことができない、行動が変わらないのならば良い指標とはいえないでしょう。 まず、自分たちがおこなった施策が良かったのか悪かったのか知ることで次に活かすことができる指標は学ぶことができる指標だといえるでしょう。たとえば広告の改善を考えたとき、改善の前後でクリック率やクリック後の課金率などを比べることによってどのような改善がユーザに対して効果があるのか学習することができます。このような指標を追いかけることで施策の実験を行い改善サイクルを回すことができます。 どの施策へ投資するか判断できる指標もよい指標です。複数の広告の成果を比較してどの広告に投資するべきか判断できるなら、それはデータドリブンな意思決定ができる指標だといえます。その指標を使うことで適切な広告へ予算を効率よく使うことができます。 では、学ぶことができて行動が変わるような指標とはどのような指標なのでしょうか？自分たちの興味があるドメインを定量的に測定できて施策によって変化する指標がよい指標になります。たとえば、プロダクトマネジメントではただのユーザ登録者数よりもアクティブユーザ率や重要な機能の利用率などユーザのエンゲージメントを示すような指標が好まれますし、Web広告であればインプレッションよりもアカウント作成や課金率が重要になるでしょう。 もちろん、優れた指標を見つけることは簡単ではありません。ビジネスや組織の変化に伴って適切な指標も変わっていきます。自分たちのビジネスを助けるような素晴らしい指標は試行錯誤しながら模索することが必要です。 良い指標について具体例を考える 具体的に優れた指標はどのようなものがあるのか考えてみましょう。たとえば、ライブ配信や動画投稿ができるサービスを通して活動するならばどんな指標が自分たちに有効でしょうか。この問題は場合によって様々な考え方がありますが、ここではシンプルに考えてみます。 ライブ配信や動画投稿について多くの人が気にしている数値はなんでしょう？おそらくほとんどの人がフォロワー数を話題にするのではないかとおもいます。人気の指標として挙げられることの多い指標です。では、これは配信者や動画投稿者が自分たちの意思決定を改善するにあたって良い指標でしょうか？わたしはあまり良い指標だとは考えません。 実際のところ、フォロー解除は多くないためフォロワー数は時間経過によって右肩上がりに推移します。問題は右肩上がりそのものではなく、累積していくだけの指標ではどの配信や施策が効いたのかを切り分けられない点にあります。フォロワー数が増えていてもユーザが自分のことをどのように思っているのかはわかりませんし、自分の配信や動画のどれがよかったのか学ぶこともできません。 ライブ配信をするならば同時接続者数が手がかりになるとわたしは考えます。リアルタイムに配信に参加してくれる人の多くはファンですからユーザのエンゲージメントが数値化されていると言えるでしょう。配信中も数値が上下するので細かく自分のアクションに対する考察を得ることができます。ただし同接は配信の長さや時間帯にも左右されるので、単純な大小だけで判断せず変化の傾向として見るのがよいでしょう。 動画や配信の再生回数はどうでしょうか？これはフォロワー数よりはよいでしょう。コンテンツごとに数値がわかるのでそれぞれの良し悪しを振り返ることができます。しかし、再生回数も右肩上がりの指標ですのでエンゲージメントを測ることが簡単ではありません。動画投稿してすぐに1万再生された動画と1年経って1万再生された動画は同じくらい人気の動画でしょうか？もちろん違いますね。コンテンツが増えれば増えるほど再生回数は使いにくくなってしまいます。 再生回数でも累計ではなく投稿してから1日〜1週間程度の短期間における再生回数は示唆に富む指標です。期間を絞ることで自分の動画をいつも追いかけてくれているファンのエンゲージメントを数値にできています。ただの再生数というだけでは時間が経つとあまり役に立たなくなりますが、投稿直後の再生回数は今の状態を明確に示してくれる指標です。 このように、再生回数そのものはあまり良い指標とは言えませんが期間を絞ることで良い指標となります。同様にフォロワー数も一定期間における増加量に着目すれば学びのある数値です。冒頭であげた「施策による変化を捉えられる」という条件は、こうして期間を制限したり数値の変化を見ることで満たされます。変化を捉えられれば施策の効果を検証できるようになるからです。 イノベーティブなアイディアを生み出すにはデータだけでは足りない ここまでデータドリブンな良い指標について解説してきました。しかし良い指標は施策の良し悪しを教えてくれる一方で、施策そのものを生み出してくれるわけではありません。データドリブンには限界があるということも同時に理解しておく必要があります。良い施策と悪い施策をデータを使うことで見分けることができますがデータだけでは良い施策そのものを生み出すことができません。データは細かい改善をすることは得意ですが、データがあるからといって良いアイディアを思いつくわけではないのです。データがあればイノベーティブな発想が生まれてさまざまな問題が解決するだろう、という考えはデータドリブンに対するよくある誤解です。 では、どのようにして良い施策を考えれば良いのでしょうか？それはデータだけではなくビジネスやマーケット、ユーザに対して理解と考察を深めることが重要です。データだけではなく勘や経験のようなものが必要になります。直感的な発想によって革新的なアイディアが大きな進歩を作り出し、データによって細かい改善を行っていくのです。 データドリブンな企業では数値だけにビジネスを任せることはしません。数値にできる限界を理解しているからです。数値という理性と考察から生まれる直感のバランスが重要です。この2つを上手く組み合わせることでイノベーティブな進化と高速な改善の両方のサイクルをつくり全体を最適化することができるのです。

本記事はウェブメディア「Modern Times」へ2023~2024年に寄稿したものを同メディアの閉鎖に伴い加筆・修正のうえ再掲したものです。 組織構造がデータの活用を促進する データ駆動型の経営を実現するためにデータ分析チームを新設する組織が増えてきました。データアナリストやデータサイエンティスト、データ基盤エンジニアなどデータ分析に係る人材を採用し新たなチームとして立ち上げたという話は枚挙にいとまがありません。 一方で、データ分析チームを組織においてどのような配置にするべきかという点はあまり話題になりません。どこの企業も独立したデータ分析チームとして配置されているケースがほとんどでしょう。果たして、それは適切な組織構造に対するアサインなのでしょうか？ 配置を誤るとせっかく採用した人材が事業部とうまく噛み合わず分析が意思決定に使われないまま埋もれてしまいます。データドリブンな意思決定を行い事業の変化に迅速に対応できるようになるためには事業部とデータ分析人材の連携が必要です。同時に、データ分析基盤やBIツールなど様々なシステムを導入し運用していく必要もあります。そのためにデータ分析人材が動きやすく能力を発揮しやすいようにアサインされていなければなりません。適切な配置が組織全体のデータ活用を促し、競争上の優位性を確保できるようになるのです。 それではデータ分析人材の配置はどのように考えるとよいでしょうか？会社のビジネスモデルや組織構造によって考えるべきポイントはたくさんあります。まずはシンプルに中央集権型組織と分散型組織、そしてその2つを組み合わせたハイブリッド型について考えてみましょう。 リソース配分しやすい中央集権型組織 わたしが知る限りほとんどの企業で、この中央集権型の組織構造をとっています。中央集権型組織ではデータ分析者というジョブに対してデータ分析チームという1つの組織を割り当てられ、複数の事業部や組織を横断して分析業務にあたります。原則として分析者を含めてデータ分析基盤エンジニアなど分析に関わる人材をこの分析チームに集めます。 中央集権型組織のメリットは分析人材を一元管理できるため組織で一貫した方針や計画に向けて効率よくリソースを配分できることです。組織とビジネスは常に変化するものですので、重点的にリソースを割きたい対象も変わっていきます。そのようなときに柔軟に向き先を変えながら手厚く人材をアサインすることができます。 このメリットはデータ活用を始めた段階で特に恩恵があります。初期フェーズでは人材の数が少なく分析に必要な環境も乏しいでしょう。そのような状態で人材を分散させてしまうと一向にデータ活用の実績をあげることができず導入に失敗するような事態になりかねません。最初は実績をあげるために1つの目標に対してチームが一丸となって取り組むほうがよいでしょう。 一方で、中央集権型のデメリットは事業部とのコミュニケーションコストが高いため迅速で柔軟な意思決定が難しいことにあります。構造上、事業部と分析チームが異なる組織であるため社内受託のような状態になりがちです。そうなると素早い意思決定や複雑な課題の解決は難しくなるでしょう。また、依頼する側・受ける側というあたかも上下関係のようなものが生まれてしまい組織の関係性に問題が起きやすくなります。これは分析者のモチベーション低下にもつながります。 コミュニケーションしやすい分散型組織 中央集権型組織の特徴について掴んだところで、次は対角にある分散型組織の場合を考えてみましょう。分散型組織ではデータ分析人材を事業部ごとに配置します。それぞれの事業部と共同でデータ分析業務を進めていきます。 分散型組織のメリットは事業部とデータ分析人材が同じ組織にいるため密な情報連携が可能になり素早く柔軟な意思決定が可能になります。距離が近くなればコミュニケーションを増やすことも容易ですから分析を利用した改善活動がしやすくなるでしょう。事業の細かい方針転換にも素早く対応することが可能です。 また、現場と分析者の距離が近くなることで分析人材が業務について深く理解できるようになり、実際的な分析結果を提供しやすくなります。データ分析業務ではドメイン知識の理解が非常に重要ですが、コミュニケーションコストが高いとドメイン知識の理解も簡単ではなくなってしまいます。事業部と分析者が密接に連携できる環境であればそれも容易になり、より本質的な分析を行うことができるようになります。 では分散型組織のデメリットはなんでしょうか？それは組織をまたいだプロジェクトを実行しにくいため全体最適化が難しくなることです。事業部内部で閉じるような問題であれば高速に実行できますが組織をまたいだ問題解決には時間がかかります。また、分析人材同士の交流が減るため分析に関する知見を深めにくくなります。 ハイブリッド型組織で現実的な解決を目指す 中央集権型と分散型組織の2つの特徴を踏まえたうえで、どのような組織を作っていくべきなのでしょうか？実際のところ、組織をこの2つのどちらかというよりも2つを組み合わせたようなハイブリッド構造を長期的に目指すのが望ましいでしょう。 分析組織の立ち上がりはほとんどのケースで中央集権型からはじまります。そのため実際のところ分析組織は中央集権型から徐々に分散型の要素を取り入れてハイブリッド型へと変遷を辿っていくことになります。中央集権型で事業部の依頼された分析に対応するという形から一部の事業部にメンバーをアサインして密に連携をとれるようなケースを増やしていくのは私もよく提案する進め方です。 データ活用を進めて事業部と分析チームでデータ活用の方向性がよりはっきりした事業部から人材のアサインを進めることでデータ活用のモデルケースとしての活躍が期待できます。うまくいきそうな場所に投資を強めるという極めて当たり前の話ではありますが、データ活用のように新しい概念を持ち込むときはうまくいくケースがあるということはその後の展開に重要です。 人は分散させても基盤は集約する ここまで人材の配置を考えてきましたがデータ分析基盤については別の見方が必要です。人材は事業部へ分散させてもデータ分析基盤はデータ分析チームで一貫した指針のもと開発していくことが望ましいことが多いでしょう。企業全体で一元化された分析基盤はとても重要です。それを維持するには事業部への分散を強めるよりも分析チームとして1つの方針に統一したほうが進めやすいものになります。 もちろん現場とのコミュニケーションが問題になりかねませんが分析者が現場へ分散して貢献していればその問題の多くは解決されるでしょう。また、そのような問題をより強力に解決する手段としてデータ分析基盤エンジニアとデータ分析者の中間にデータスチュワードのようなロールが入ると円滑に進められるでしょう。 組織構造がデータ活用を決める データ活用を進めるに当たって組織構造は重要なポイントです。コンウェイの法則にあるように組織とシステムは密接な関係があります。組織を超えたやりとりが多いため組織構造が適切なものになっていなければ機能不全に陥ります。これは分析者や事業部の担当者など個人だけではどうしようもない問題です。もし社内でデータの活用が進まないのであれば、組織構造による連携の問題が発生していないか検証してみるのはいかがでしょう？

本記事はウェブメディア「Modern Times」へ2023~2024年に寄稿したものを同メディアの閉鎖に伴い加筆・修正のうえ再掲したものです。 データの民主化を阻む壁はなにか？ 現代のビジネスにおいてデータ分析の重要性は高まっており、意思決定のプロセスにおいて欠かせない存在となりつつあります。データを使って企業の戦略策定のレベルを上げ競争力を高めることはもはや当たり前のこととなってきました。しかし、多くの企業でデータの活用は中央集権的なアプローチとなっており、データの活用は限定的なものになっています。 組織の多くの人がデータを利用する際に課題となるポイントはデータに対する理解が必要であり学習コストが高いということです。これはデータを分析するためにSQLやDBの知識が必要という技術的な問題だけでなく、そのデータそのものについて理解しなければならないという課題です。目の前にあるデータがどこから来て、どの程度信頼性があり、ほしい情報を生み出すためにどんな加工が必要なのか把握することは熟練の分析者でも時間がかかります。 データの信頼性については前回の記事にあるように品質を保証するような取り組みを行う必要があります。誤りや矛盾などの問題がないような正しいデータを作ることがまず必要です。当然ですが、正しいデータを用意することはすべての前提として求められるものです。まずはデータの品質が高める必要があります。 品質の高いデータの次は利用しやすいデータを整えることが求められます。正しいデータがあるだけでは専門家以外の人が気軽に分析することは難しいでしょう。たとえば、必要なデータを抽出・集計するためにどのようにデータを結合し処理していけばよいのか理解する必要があります。これは一般的な技術だけではなく分析の目的やビジネス、ドメイン、データベースの特性を踏まえて考えなければいけないため複雑で変化しやすく簡単ではありません。 この問題への解決策の1つがデータマートを構築することです。データマートは特定のドメインや部門に合わせて加工・整理されたデータセットを指します。全社のあらゆるデータを幅広く集約したデータウェアハウスから、ある用途に必要な部分を使いやすく整えたものとイメージするとわかりやすいでしょう。大きな倉庫から必要な商品だけを選んで並べた売り場（マート）を作るようなものです。特定の用途に絞り込んだデータセットを利用することで幅広い人がデータへアクセスして迅速かつ適切に分析を実行する一助となります。 データマートの有用性 データマネジメントを料理に例えるなら、品質の高いデータとは質がよく最低限の下処理がされた食材です。魚であれば新鮮で血抜きと内臓がきれいに取り除かれたような状態でしょう。ここから自分たちが食べたい料理を作るには必要な食材を選び切ったり焼いたりと調理する必要がありますので、そのためには多様な知識と経験が求められます。それに対して、データマートはミールキットのようなものです。必要な加工や調理が完了しており、必要に応じてちょっとした一手間でほしい料理を作ることができます。ミールキット自体を作る手間が必要ですし他の料理にすることは難しいですが、ほしいものが決まっているなら便利な存在です。 具体的に考えてみましょう。たとえば、マーケティングチームにおけるデータマートの活用を考えてみます。Webマーケティングはデータの活用が最も進んでいる分野の1つといっても過言ではないでしょう。全体の予算やコスト、獲得の進捗、コンバージョンレートなどの指標をユーザーの属性、行動などを紐づた分析を行ったりキャンペーンごとに効果を検証するような分析が必要となります。そのような数値を分析できるデータマートを準備することでマーケティングチームは簡単な分析ならば自立して実行することが可能です。 データマートの一番の利点は特定のビジネス領域にフォーカスされたデータセットなので現場のメンバーが直面している問題に関連したデータであることです。課題解決に必要なデータを用意することで分析が簡単になります。たくさんのデータから自分たちに必要なデータを抽出するのではなく整理された必要なデータを利用することで、どのデータをどのように使えばよいのか明確になります。これによりデータの使い勝手が向上し迅速に分析を進めることが可能になるのです。 分析が主たる業務でないメンバーがデータを活用できるようにするためには学習コストを下げて簡単に扱える必要があります。データの扱い方が明確になってわかりやすい、ということは重要です。データマートは事前に処理され品質管理されたデータであるため、どのように分析すればよいのか・どのようなことができないのか明確になっています。分析に要求されるデータ解釈のスキルが低減されるのです。これによって多くの人がデータを利用しやすくなります。 データマートとどう付き合うか データマートは深いデータの理解がなくてもデータを分析してビジネスに活かすことができる便利で重要なしくみです。しかし、当然ですがデータマートを構築し運用するために多くの時間と人が必要になります。言うは易し行うは難し。利便性の高いデータマートを構築し利用できる状態を維持し続けることは簡単ではありません。コストと組織への効果を考えながらちょうどよいバランスを模索していく必要があります。 もっとも、データの民主化を後押しする手段はデータマートだけではありません。近年はBIツールやAIの進化によってSQLを書かずに分析できる環境も広がってきました。技術的な壁は着実に低くなっています。それでもデータがどこから来て何を表すのかを理解し整える壁は残り続けます。むしろ手軽に分析できる時代だからこそ用途に合わせて整理されたデータマートの価値は失われません。 冒頭で挙げたデータの民主化を阻む壁、つまり専門知識や学習コストの高さをデータマートは現実的に引き下げてくれます。分析の専門家でなくても自分の業務に必要なデータへ手を伸ばしデータをもとに判断できる人を組織に増やしていく。データマートはデータの民主化を一歩ずつ前へ進める実践的な手段なのです。

本記事はウェブメディア「Modern Times」へ2023~2024年に寄稿したものを同メディアの閉鎖に伴い加筆・修正のうえ再掲したものです。 データ分析のロジスティクスとデータの品質 前回の記事では企業におけるデータの民主化において、ロジスティクスとガバナンスこそが重要であるという点について解説しました。多くの人が効率よく安全にデータ分析できるような環境を整備したり、リーガルの問題へ取り組んでいかなければいけません。今回の記事ではそのロジスティクスのなかでも、分析を支えるデータの品質に目を向けてみましょう。 データを活用するにあたって分析者の多くがほとんどの労働時間をデータセットの構築や維持に費やしていることが様々な調査からわかっています。ロジスティクスと一言にいっても、データ分析においてどこからどこまでをロジスティクスと呼ぶのか曖昧です。しかし、明確に分析者の手間がかかっているポイントがあります。それは使えるような形になったデータを構築し維持する作業です。そして、この作業の成否を左右するのがデータの品質にほかなりません。 ただ何も考えずにデータを集めただけでは分析に使うことはできません。分析に必要な情報を集めて、保存し、整理されて初めて分析で使うことができます。このように書くとごく当たり前のように聞こえるかもしれませんが、実際のところ、分析を意図した体制が整っていない企業ではデータが分析できる状態でないことが多くあります。データの抜けや漏れがあったり、更新されていないデータがあったり、いつどこで誰が変更したのかわからないようなことがあります。このような質の低いデータでは適切な意思決定をおこなうことは難しいでしょう。 データを活用している企業では高い品質のデータを準備することに非常に多くの労力を割いています。ビジネスの変化にともないデータ量は常に増え続け構造はより複雑化していきます。その最中において、データを分析し活用するためのデータマネジメントを実施していくことが求められるからです。本記事では、データを分析するために求められる品質とその改善について解説していきます。 データの品質基準 ビジネスでデータを活用するためにはデータの品質が重要です。データを用いた意思決定では正しいデータが大前提となっています。当然ですが、正しくないデータから適切な意思決定をすることはできません。間違ったデータから得られるのは不適切な意思決定だけです。 それでは、データの品質とはどのように定義すればよいのでしょうか？データの品質に対して具体的な要求を考えてみましょう。たとえば「毎日朝の9時まで必要なデータが入っている」とか「顧客の名前や連絡先など必須の情報に入力の抜けがない」といった要件が思いつきます。 各企業ごとにビジネスモデルや組織体制、システムの環境などから具体的に必要とされる要件に違いはあります。とはいえ、抽象的に求められるものはどこの企業でも大きな差はありません。ここでは抽象的に品質が高いデータの基準として国際基準であるISOや日本政府の提供している評価基準を参考にピックアップしてみましょう。 正確性 データの正しさです。データと実態に齟齬がない状態を目指します。例えば、CRMで顧客の名前や連絡先が間違っていたら正確なデータとは言い難いでしょう。誤字脱字も問題になります。 完全性 抜けや漏れの少なさで、分析のために必要なデータが存在することです。たとえば入力が必須項目であるはずが空欄のまま保存されていたら完全性に欠けたデータといえるでしょう。システム上の不備で一定期間のデータに抜けがあるような状態も避ける必要があります。 一貫性 データ同士の整合性です。データに矛盾があったりズレが存在すると分析するために前処理をする必要が生まれたり、そもそもデータとしてどれを信用したらよいのかわかりません。たとえば、郵便番号と住所が違っていたらどちらを信用すべきでしょうか？全角や半角、記号の表記ゆれなどは細かな差異のように見えますが分析では重大な問題になりえます。 最新性 データの新しさを示します。いつまでも古いままのデータでは変化の激しいビジネスの現場では使い物になりません。定期的な更新が必要です。加えて、更新の頻度も重要です。1日ごとの更新、1時間ごと、1分ごと、随時更新…と更新の頻度は高ければ高いほど望ましいですが保守・運用コストも高くなります。 追跡可能性 データがどこからきて、どのような変更が起きたのか追跡できることです。たとえば売上と一言にいっても請求書や入金で差が生まれますし広告やECサイトならプラットフォームのダッシュボードの数値もあり更新頻度や対象とする範囲が違いますのでどこの数値を見ているのかわかる必要があります。CRMを使っていれば入力後に変更されたりしたら誰がどのように変更したのか追跡しなければデータの信頼性に関わるでしょう。 データの品質を向上させるためのアクション 前述のようにデータの品質を定義する様々な基準を確認しました。それでは、これらの基準に対して品質を改善するにはどのような活動をしていけばよいでしょうか？当然、すべてを一瞬で解決できる銀の弾丸はありません。品質の改善は穴の空いたバケツを塞ぐようなものであり地道な対策を積み重ねることが必要です。 それでは暗中模索で対策を試すしかないのでしょうか？いいえ、そんなことはありません。データの品質を改善する基本的なプラクティスは多く存在します。プラクティスの実行だけで100点になるわけではありませんが多くの場合で効果が期待できます。ここではいくつか例を紹介しましょう。 データ品質を意識したプロセスとシステムの再設計 データは業務の様々な場所から発生しますが各々の業務フローは自分たちの事情に対して最適化されているものです。データの品質を改善するという目線から全体を設計しなおしていくことがまず必要になります。 たとえば、CRMのデータに抜け漏れが多いという問題があり原因が入力する時間を取ることができないことだとしたら、業務フローとして入力する時間を確保していく必要があります。場合によってはチーム内で確認しあうようなフローも良いでしょう。データを入力すること、品質の高いデータを作成することも業務の1つとして組み込むのです。このようにしてデータ品質の問題を解決できるような業務フローを構築していきます。 業務フローと同時に作業するためのシステムを変える必要もあるかもしれません。業務のやりやすさだけでなく、データ分析のために品質を高められるようなツールへと変えていきます。たとえば顧客情報を入力するならスプレッドシートよりCRMを使ったほうがデータ品質へのサポートが手厚いことがほとんどです。求められるデータを入力できることはもちろん、サービス同士の連携や統制、追跡がやりやすいツールを選ぶ必要があります。 既存の業務フローやシステムを変えることは簡単ではありません。慣れた方法を変えることはそれだけでもストレスがかかりますし、変えたせいで生産性が悪化したのでは意味がありません。現場のメンバーに悪い影響を与えないように必要な要件を整理したうえでスムーズに移行していけるように進める必要があります。 データ入力の統制 データの品質を向上させるためにはやはり入り口であるデータを入力するシーンで改善することが最も効果的です。データの品質を低下させる要因の多くは人間が手で入力するシーンにあります。アンケートやプロフィール、CRMなどは人間がデータを作成します。このような状況への対策として人間が監視して品質を上げる方法は実質的に不可能でしょう。 システマティックな対策として入力できる値を制限して統制する方法があります。顧客情報を表計算ソフトに直接入力しているような組織も少なくないでしょう。入力フォームを使うことでデータ入力を統制するやり方は定番の解決方法です。郵便番号のように入力された値が一定のフォーマットであることが期待できるなら自動でチェックする機能も役に立ちます。 「注意深く入力すればミスを減らすことができる」と考える人は少なくありません。しかし、人間の注意力は有限でありミスを減らすにも限界があります。誤字・脱字、数字や記号の半角・全角のゆれなどは注意していても気がつけないものです。機械的に解決できるものであれば可能な限りそのような手段で解決していくことが望ましいでしょう。分析する側から見ると「半角と全角の揺れがないように気をつけて入力している」というデータでは常に集計漏れの不安が残りますが「システム側で数字を常に半角にしている」というデータであれば安心して分析が進められます。 データの定義の整理 入力されているデータの意図が明確に言語化されていないと曖昧になり入力がブレがちです。表記ゆれや入力の矛盾、不整合がおきる要因としてそもそも定義が曖昧なまま認識が一致できていないことがあります。たとえば顧客情報を入力する際に「連絡先」という項目名だけではメールアドレスを入れる人と電話番号を入れる人どちらがいてもおかしくありません。定義を明確にし期待する入力をわかりやすくすることが必要です。 定義とはいつ、どこで、誰が、なにを、どうやって入力するのか明確にすることです。たとえば、お客様とアポイントが取れたことをCRMに保存している場合、どの段階で「アポイントが決まった」と定義するのか人によってブレがあります。口頭、メール、日程が決まる…etcなど段階によって確度が違いますので、分析する際にこの違いは重要です。定義として明確にしておくべきでしょう。 定義を整理し言語化することはデータの品質を高めるだけでなく、その後の分析の効率化にも貢献します。分析では集めたデータがそれぞれどのような背景で集められたデータなのか解釈をしながら進めることになります。その際に、それぞれのデータの定義が明確になっていることは有用です。 データの品質を高める組織づくり データの品質を高めるための手法や戦略のプラクティスは多くありますが、一度実施して終わることはなく継続した取り組みが必要です。そのためには、データの品質を改善することを組織として推進していかなければいけません。 データを入力する部門がシステムや業務フローを改善するためにはその部門や事業部の協力が必要になります。そのためにはデータの品質についてオーナーシップの一端をその部門がもたなければいけません。責任を持たなければいつまでも他人事です。データを軸とした改革を進めるためにはデータ分析者と事業の責任者の両方が責任を持つべきです。 現場からしたらデータのことは分析チーム側で解決してほしいと思っているでしょう。逆に分析側はデータは現場で発生するから現場に対応してほしいと考えているでしょう。これはどちらが正しいなどと議論することに意味はありません。対立するのではなく歩み寄って問題を解決していく必要があるのです。 高い品質のデータを集めることはより良い意思決定に繋がり、ひいては組織全体への影響を与えます。データの品質改善はデータ分析部門だけの問題ではありません。会社のすべての人が関わる問題なのです。多くのステークホルダーがいるなかでうまく利害を調整しながら前進していく必要があります。そのような組織を作ることもまたデータ活用のためのデータマネジメントといえるでしょう。

本記事はウェブメディア「Modern Times」へ2023~2024年に寄稿したものを同メディアの閉鎖に伴い加筆・修正のうえ再掲したものです。 BIツールを導入しただけでは「データの民主化」は進まない DX推進の要素の1つとしてデータの民主化は重要なトピックスです。目まぐるしく変化する現代のマーケットにおいて、意思決定の精度と速度を向上させるために定量的で客観的な評価が必要でしょう。そのためには組織のメンバーが幅広くデータにアクセスし活用できる必要があります。しかし、実際にデータの民主化を進めるにあたってなにから始めればよいのか苦悩している会社も多いのではないでしょうか。 データの民主化を成し遂げるためのアクションとしてBIツールの導入やSQLの教育といったアイディアは非常に頻繁に提案されることの多いテーマです。つまり、多くのメンバーがデータを扱えるような設備や教育を整えようということです。彼らがデータを活用するためにはデータにアクセスする手段が必要であり、BIツールやSQLはその手段として汎用的で定番だと言えるでしょう。しかし、実際のところBIツールを導入しただけではデータの民主化を達成することはできません。BIツールのようなデータを扱うツールというものはデータの民主化に対してほんの一要素でしかないからです。 なぜデータを分析する手段ばかりが話題に上がりやすいのでしょうか？これは分析をしたことのないほとんどの人がデータさえ触れれば分析できると勘違いしているからです。分析者であればそれが間違いだと知っているでしょう。調理方法を知っていても材料がなければ料理は作れないのです。 そこで本記事が注目するのがデータのロジスティクスとガバナンスです。ここでいうロジスティクスとは分析に使うデータを準備し流通させ使いやすく整備するまでの一連の営みを指します。ガバナンスはそのデータを安全かつ適切に扱うためのルールや管理の仕組みです。データを活用するためには様々な要素が必要ですがこの2つは多くの人に軽視されがちでありながら実際には必要不可欠な論点です。本記事ではその価値について解説します。 なぜ分析ツールだけでは足りないのか データを分析するツールを運用するためには、まず分析できるデータを用意するシステムと分析するインフラが必要になります。社内で利用するならルールの策定が必要ですし個人情報保護や規約違反を犯さないかリーガルチェックをする必要もあるでしょう。 ロジスティクスやガバナンスの問題はツールの導入では解決することができません。これがデータ分析ツールだけではデータの民主化ができない大きな要因です。ロジスティクスやガバナンスが整ったうえで分析ツールを導入することで初めて多くの人が正しく効率よく分析ができるようになります。 データを分析する技術や設備を導入するだけのアプローチではこうした裏側にあるデータのロジスティクスやガバナンスの問題はほとんど解決できません。それらが不必要なわけではありませんが分析できる手段だけを用意してもほとんどの企業においてデータを十分に活用することは難しいのです。 現場で噴き出すロジスティクスとガバナンスの問題 社内で多くの人がデータを利用しはじめると細かい運用の面でも課題がでてきます。たとえば、同じ名前の指標でも定義や処理の仕方が異なるという問題はよくあります。売上という言葉1つとってもチームによって計算の定義が異なります。複数の人が似たような計算をする機会が増えますので、正しく効率よく計算できるように必要なデータや処理の方法を共有することも重要になるでしょう。 運用上の問題に加えて使う人が増えればセキュリティ上のリスクも高まります。分析ツールやデータへのアクセスについて利用者ごとに適切な権限を付与したり管理することが必要になります。データを扱うためのセキュリティについてリテラシーの教育も必要です。ここで挙げたものはデータの民主化について頻出する課題の一例であって、他にもさまざまな障害があるでしょう。 問題をどう解決していくか それでは、このような問題をどのように解決していけばよいのでしょうか？すべての問題を一息に解決してくれる、いわゆる銀の弾丸は存在しません。1つずつ問題を解決していく必要があります。そして、そのソリューションと優先度は組織の構造やデータ民主化の進め方によるため一概に決めることが困難です。問題と向き合い、地道に取り組むことが必要です。 先に挙げた課題にはそれぞれ定番の解決策があります。データを安定して分析できるシステムが必要ならば、開発や保守運用を担うデータ分析基盤チームが必要でしょう。指標の定義や処理の仕方に差異が発生するならば、データカタログやデータマートを構築して共有化するのは定番の解決方法です。それらを活用するためにデータスチュワードのようなロールが求められるでしょう。セキュリティリスクへの対策として権限の管理を行うには、ルールの策定とそれを運用する組織を作る必要があります。データが規約や法律に対して問題がないか専門家と議論する枠組みを用意することもよいでしょう。 解決には全社的・トップダウンの推進が不可欠 これらの問題の解決の障害となるのは組織の壁です。近年ではデータ活用に関する問題に対して解決のプラクティスが共有されつつあり、以前に比べれば効率よく解決へ進むことができるでしょう。しかし、チーム単独で進めることが難しく影響範囲の広い課題です。特に権限の管理や法律や規制への対応はチームを超え全社を巻き込んで解決していく必要があります。このような問題をボトムアップに解決することは困難で、必ずトップダウンに強制力をもって進めなければいけないシーンがでてきます。 メンバーが幅広くデータを活用することは企業の成長に大きく貢献します。しかしそこに至るにはBIツールの導入のような手段の整備だけでは足りずその土台となるロジスティクスとガバナンスの問題に地道に取り組まなければなりません。そしてその取り組みは現場だけで完結しません。現場の意思決定の速度を速めながらガバナンスやロジスティクスの改善をトップダウンに進める——この両輪を回して全体を最適化することこそがデータの民主化に必要なのです。

本記事はウェブメディア「Modern Times」へ2023~2024年に寄稿したものを同メディアの閉鎖に伴い加筆・修正のうえ再掲したものです。 データ活用の誤解 世間では、データの活用について大きな誤解をしている人をよく見かけます。なにかビジネスに関わる大きな問題を解決して自分たちに大きな利益をもたらすとか、未来予知ができてあわよくば自分たちに都合がいい方向へ未来を変えられるような、そんな魔法のような何かだと思われています。当たり前ですが、データを使ってもそんなおとぎ話のようなことは起きません。 それでは、データを活用することでどんな利益を得られるのでしょうか？データから得られる利益はもっと地道で現実的です。データを活用するということはシンプルに言ってしまえばゴールへじわじわとにじりよるということです。ビジネスでは達成したい目標に向かって施策を打ち、そこへ少しずつ近づくものですが、データを利用することでその精度を高めることができます。 データ活用では情報を収集、解析しそこから得た知見や仮説をとおしてアクションをより良いものにするというOODAループやアジャイル的な運営が前提となります。サイクルを通した改善スパイラルです。このスパイラルにおいて情報を定量的に扱うことができるという点がデータを活用するメリットです。具体的に見ていきましょう。 サイクルをまわす それでは改善スパイラルとしてデータ分析をどのようなサイクルと考えればよいでしょうか？本記事ではOODAループを参考に、データ分析を「情報の収集・解析・意思決定・実行」の4ステップからなる1つのサイクルとして考えます。必要に応じてステップを戻っても構いません。重要なことは良いアクションを行うために良い意思決定をすることです。逆算して意思決定のクオリティを上げるために必要な情報を集めて解析していきます。 さて、データの活用ではまず情報を収集し解析することから始まります。やみくもに情報を集めればよいわけではありません。前述したように、データを分析するということはよりよいアクションを起こすためにあり良い意思決定が目標となります。つまり意思決定に役に立たない情報を集めても意味がないのです。 意思決定に役に立つ情報とはどういうものでしょう？抽象的に言うならば意思決定に影響を及ぼす情報です。その内容によっては意思決定が変化しうるものと言ってもよいでしょう。逆にいえば、その情報があってもなくても何も変化がないのであれば意思決定において価値は高くないということです。 更に、情報の多くはそのままでは意思決定に役に立たないことがあります。集計や比較、可視化、もしくは統計学的な手法を通して意思決定に役に立つ形へ整形が必要です。 たとえば商品ごとの売上データや顧客の来訪頻度、購買までの時間などの情報はそれ単体では大きな意味をもちません。地域ごとに比較したり来訪頻度から月の顧客ごとの単価を出したりと紐づけたり比較したりすることで意思決定に使えるような意味のある情報ができます。場合によっては統計的な手法をもちいて数理モデルを構築することで、将来の変化をシミュレーションしたり自分たちにとって重要な変数を探したりすることもあります。 意思決定を下す前に意思決定を行えるだけの情報が集まっているのか確認することが必要です。不足があれば情報の収集や解析を行います。もちろん無限に時間と金があるわけではありませんので常に必要な情報がすべて揃うわけではありません。しかし、自分たちの意思決定においてクリティカルな情報がなんなのか優先度を考えることはできます。どんな情報があれば自分たちの考えが変わるのか検討しましょう。 必要な情報がそろったら意思決定を行いそれに伴いアクションを実行します。これでループが1周完了しました。このようなループを必要に応じて何度も実行します。しかし、単純にループを回せばよいというものではありません。ゴールへにじりよるのはここからです。 改善スパイラルとメリット アクションを実行したら情報の収集や解析がまた始まります。まず、やるべきは施策の効果を確認することです。自分たちの意思決定が正しかったのかどうか検証しましょう。不足があれば自分たちの仮説のどこに誤りがあったのか分析します。施策の効果を経験や勘ではなくデータを分析で定量かつ客観的に評価を行えるという点がデータ分析の強みです。そして同時に次の意思決定に必要な情報を集めます。施策の実行によって状況が変わっているはずです。同じ情報を扱う場合でも再び情報を収集する必要があります。 アクションの前と後、見積もりと実績の両方を定量かつ客観的に得られるということがデータ活用の強力なポイントです。勘や経験に基づく判断に比べて施策の良し悪しを明確に理解し共有することができます。客観的であることで成功率の高い施策を選べるようになるだけでなく、定量的であることによってどの施策にどの程度投資すれば目的を達成することができるのか量の判断も精緻になります。つまり、予実の精度が向上するのです。 このようにしてデータを使うことで意思決定の精度が改善されます。成功率の高い施策を選べる、よりよい施策へ優先的に投資できる、妥当な投資の量を決められる。これこそが、データを活用することで得られる利益なのです。 もしあなたがデータ活用とは何かを発見することや予知だと思っているならばその考えを捨てましょう。そして目の前の問題を解決するためにデータがあったらもっとよい意思決定ができないか検討すべきです。最初は上手くいかないでしょうし時間がかかるかもしれません。しかし次はきっと今より上手くやれるはずです。