本記事はウェブメディア「Modern Times」へ2023~2024年に寄稿したものを同メディアの閉鎖に伴い加筆・修正のうえ再掲したものです。

どのように指標を選べばよいのか

前回の記事ではデータドリブンになる良い指標について解説しました。良い指標とは学ぶことができる指標であり、行動を変える指標です。このような良い指標についてより深く解説していきます。

学ぶことができる指標を考えるときなにから考えればよいでしょうか？実際のところ、まずは教科書的な指標からスタートするケースがほとんどだとおもいます。現代では多くの分野で定番とされるような指標が知られています。たとえば顧客の離脱率や顧客単価、広告のCTRやコンバージョンレート、NPS…などはよく使われる指標です。これらの指標を起点に使うべきKPIを考えていきます。

これらの指標をそのままKPIにすることもあれば、分解して使うこともありますし、セグメントなどでスコープを狭めて使うこともあるでしょう。たとえばCTRはインプレッション数とクリック数に分解できるのでそれぞれ別に追いかけたほうがよい場合もあります。特定のユーザ属性でセグメントにわけることが有用なケースもありますね。

他にも、重要な指標に関係がありそうな数値をKPIとして選ぶこともあります。問い合わせ満足度の改善では解決率や応答率を見ることがあるでしょう。機能の利用率や到達率などはサービスの改善で定番です。これらの指標もさらに分解したりセグメントで切り分けることもあります。

いずれにせよ、指標は切り方を変えたり細かく具体的にするなどいくらでも作ることが可能です。

気温をKPIにしても何も学べない

指標は作ろうと思えばいくらでも作ることができますが、どの指標が最も自分たちの今一番ほしい学びを与えてくれるのでしょうか？学ぶことができる指標の重要な条件は、その数値を改善したくてたまらない上に自分たちにその指標を改善できそうな仮説があることです。

たとえばアイスの売上と気温に相関があると言われていますが、アイスを売りたいからといって気温をKPIにしても意味がないことはすぐにわかるでしょう。気温は私たちにコントロールできない変数であり、ただ受け入れることしかできません。自分たちのアクションで動かせない数字をいくら眺めても、そこからは何も学ぶことができないのです。

顧客満足度をKPIにするのはどうでしょうか？顧客満足度はぜひ改善したい数字ですし、なんだか改善するアイディアもありそうです。これが、ユーザが100人のサービスであれば、たしかにアイディアから試行錯誤して数値を改善することは可能かもしれません。もしユーザが10万人のサービスだったらどうでしょう。アイディアがあったとして施策と数値を関連付けて改善サイクルを回すことができるでしょうか？なかなか難しそうですね。なにをやっても良かったのか悪かったのかぼんやりとしてしまいそうです。

ユーザが10万人のサービスでも特定のセグメントに絞り込めば対象となるユーザを減らすことはできます。顧客満足度を改善したいとして性別や居住地、年齢、行動などからスコープを小さくすることは可能です。そうして100人のユーザに絞り込むことで改善サイクルを回すことは可能になるでしょう。しかし、この場合は全体への影響が限定的になります。改善できるが影響は小さい、逆に全体を狙うと改善サイクルが回せない。このトレードオフは指標を選ぶとき重要な論点です。

もちろん、これは極端な例になります。実際の現場ではこれほどわかりやすくありません。多くの指標は改善ができそうなできなさそうな…と曖昧なレベルであることがほとんどだとおもいます。では、その中から自分たちにとって有用な指標をどのように探せばよいのでしょうか？

指標のバランス

ちょうどよい指標を探すにあたって課題になるポイントは、同じ指標でも状況次第で良い指標にも悪い指標にもなりうるということです。あるときは妥当なKPIであっても次第にサービスの種類や規模、目標が変化することで学びを得ることのできない不適当な指標となります。

指標を検討するときは対象となるユーザの規模や自分たちの施策の影響が及ぶ範囲から考えるとよいでしょう。数字から学ぶためには自分たちのアクションと指標が対応している必要があります。ユーザが増えれば特定のセグメントに対する施策が増えていきますし、その効果を見たいならばそのセグメントの数値に注目したほうがわかりやすいということです。

サービスの立ち上げ期はアクティブユーザ率やChurn Rateのような定番のユーザ全体に係る抽象的な指標をKPIとして選ぶことが多いでしょう。このような指標はビジネスに直結する指標であり、最終的に改善したい指標となります。このフェーズではサービスの課題が多くアクションがユーザ全体に影響を与えることが多いため、これらの指標をそのまま使うことで多くのことを学ぶことができます。むしろ、ユーザが少ないので細かい指標を見ようとしてもノイズがひどくて知見を得ることが簡単ではありません。

一方で、サービスが成熟してくると上記のような指標では学ぶことが難しくなります。これはユーザが増えれば増えるほど指標の変化が小さくなり施策による効果がわかりにくくなるためです。多様なユーザが増えればそのぶん施策を検討する幅も広がります。そのため、指標を分割したりセグメントを切ったりしてスコープを狭めた指標を大本のKPIの下位にぶらさげてツリーとして利用します。たとえば、特定の機能の利用率のような具体的なユーザの行動をChurn Rateの下位においたり、全体のコンバージョンレート改善に対して特定の流入経路やユーザの属性をセグメントとして絞り込んだ指標を参照するやり方は広く行われています。

指標は分割したりスコープを狭めたりすれば理解しやすくコントロールしやすい数字にすることができますが、本来改善したい指標への影響が限定的になったり、本来改善したい指標と実際に追う指標の距離が離れて両者の因果が不確実になっていきます。このトレードオフに対してちょうどいいバランスの指標を探す必要があるのです。

指標は常に模索するもの

抽象的な指標から始まり次第に具体的な指標を見るという流れはデータドリブンな組織だと自然に行われています。最初はChurn Rateや顧客満足度のような指標を追いかけたとして、次第にサービスが拡大し施策が具体的なターゲットへ移っていくため自然と指標も具体的なKPIが設定され改善活動を行うことになります。

なにか素晴らしい指標を見つけたとして、それをずっと追いかけているだけではデータドリブンになることはできません。変化の激しい現代では市場やビジネスが変化し続けることが前提となります。そうなれば、当然、追いかける指標も改善されなければいけません。

データドリブンな組織はKPIから自分たちがなにか新しいことを学ぶことができているのか常に考えています。指標を使って改善サイクルを回すだけでなく良い指標を探して改善するサイクルを回すことがデータドリブンでは重要なのです。