動くものを作らないから失敗する

失敗するデータ分析基盤プロジェクトに共通する重要な特徴の1つは「動くものから作らない」ということです。
何年もかけて巨大な基盤を構築しすべてが完成してから稼働させるようなやり方は経験上うまくいきません。
開発の前にすべての要件を定義し仕様を決めようとする。
データ分析基盤の実装をレイヤーごとに進めようとする。
こういった進め方をしようとする人は少なくありませんが実際のところうまくいきません。
なぜ、このような進め方をするとなぜ失敗するのでしょうか？
3つの要素にわけて解説します。

時間をかけると作った頃には役に立たない

まず根本的な問題として、データ分析基盤を何年もかけて作ったとしても完成した頃には情勢が変わっており使い物にならない可能性が高いという点があげられます。
これはビジネスを取り巻く環境の影響を受けること、そしてデータ分析基盤は社内の様々なシステムの影響を受けることから発生します。

現代の市場は凄まじい速度で変化しておりビジネスの戦略もそれに合わせて日々変わっていきます。
ビジネス戦略が変われば知りたい情報もどんどん変わっていきます。
何年も前に決めた指標や分析方法が役に立つでしょうか？
少なくない割合で変更が求められることは想像に難くないでしょう。
このようにして作った瞬間から役に立たないダッシュボードができあがります。

また、社内システムが変更されれば取得するデータの性質は変わっていきます。
1つ1つの変更の周期は短くなくとも様々なシステムによってなりたっている現代では毎年のように何らかのシステムが変更されていきます。
変更に限らず新たなシステムを導入することも珍しくないでしょう。
データ分析基盤は様々なシステムの下流に位置するためそれらの影響を強烈に受けます。
また、社内のシステムは変わらずとも法律や規制などによって変更や修正が要求されることもあります。
分析に必要なデータソースが増えたり減ったり変更されることで、データの取得方法や前処理、集計の定義すら変わるのです。

フィードバックループを回せ

次に重要な問題の1つとしてフィードバックループが回らないことが挙げられます。
完成まで誰も触らなければ誰も検証できずフィードバックができません。
途中で誰かが実際に利用しはじめていれば意思決定に使える分析ができるのか確認できますし問題があれば修正ができます。

開発の前に完全な要求や仕様を定義することはできません。
事前の想定が間違っていたという自体は当然のように発生します。
最初にすべてを定義して設計、実装を行うという方法は絶対に過不足が発生します。

分析する側も分析基盤を開発する側も両方でこの問題が発生します。
分析する側は実際に分析して意思決定に活かしてみると最初に想定していた指標では上手くいかない、なんてことはよく起きます。
これは「考える人のスキルが足りず想定不足だった」という話ではありません。
前述したように事業や環境が変わって分析の切り口が変わるケースはその典型例です。
探索的に分析を行うことで初めて見えてくるものもあります。
やってみないとわからないことがたくさんあるのです。

分析基盤を構築する側としては当然上記の分析する側の状況が変化すれば作るものも変わってきます。
見たい指標が変わればデータマートやダッシュボードの実装は変化するでしょう。
場合によっては中間テーブルでのデータの持ち方や前処理の方法を変更する必要があるかもしれません。
想定よりも負荷が高くてうまく運用が回らないというケースもありえます。

これらの問題を使う前にすべて洗い出すのはおおよそ不可能であるといってよいでしょう。
少なくともすべてを洗い出すコストとリスクを考えると作って使ったみたほうが早くて確実です。

地に足のついた議論をする

もう1つ重要な問題として進める優先度や方向性を揃えることが難しいという点があります。
データ分析基盤は社内の多くのステークホルダーを巻き込んで開発されるものです。
意思決定に活かすという性質から上位レイヤーの人間への影響をもちます。
その中データ分析基盤ではどれをどの順番で作るのか決めていく必要があります。
これが実際に動くものと検証ができない状態だと物事を進めるのが簡単ではありません。

データ分析基盤の開発に着手するとき、多くのステークホルダーは具体的なイメージを持てていません。
まして自分たちのチーム以外との連携などほぼ不可能といってよいでしょう。
しかし実際に開発を進めるには社内のそれぞれのステークホルダーの要望から優先度を決める必要があります。
具体的なモノがない状態だと各々の認識をぶつけることになり議論が空中戦になりがちです。
結果として社内の力学がそのまま反映されてしまいあるべき姿から歪んでしまいます。

しかし、実際に作ったものがあり動かすことができれば多くの人の認識を揃えるやすくなります。
荒削りでもダッシュボードがあれば間違っている計算や不足している観点を洗い出すことができます。
自分たちのチームで使うならどんなデータが不足しているのか想像することができるでしょう。
そのための課題も具体的に見えてきます。
動くものがあればできることや難しいことのイメージを捉えやすくなるため進める方向性や優先度の認識が揃えやすいでしょう。

おわりに

ここまでに述べたような理由からデータ分析基盤の構築は使う前から最初に時間をかけて大きく作るものではありません。
まずは小さく作りそれを絶えず修正・改善しながら大きく拡張するものなのです。

では、具体的にどのように小さく作ればよいのでしょうか？
次の記事ではMVPについて考察します。