本記事はウェブメディア「Modern Times」へ2023~2024年に寄稿したものを同メディアの閉鎖に伴い加筆・修正のうえ再掲したものです。

データ分析のロジスティクスとデータの品質

前回の記事では企業におけるデータの民主化において、ロジスティクスとガバナンスこそが重要であるという点について解説しました。多くの人が効率よく安全にデータ分析できるような環境を整備したり、リーガルの問題へ取り組んでいかなければいけません。今回の記事ではそのロジスティクスのなかでも、分析を支えるデータの品質に目を向けてみましょう。

データを活用するにあたって分析者の多くがほとんどの労働時間をデータセットの構築や維持に費やしていることが様々な調査からわかっています。ロジスティクスと一言にいっても、データ分析においてどこからどこまでをロジスティクスと呼ぶのか曖昧です。しかし、明確に分析者の手間がかかっているポイントがあります。それは使えるような形になったデータを構築し維持する作業です。そして、この作業の成否を左右するのがデータの品質にほかなりません。

ただ何も考えずにデータを集めただけでは分析に使うことはできません。分析に必要な情報を集めて、保存し、整理されて初めて分析で使うことができます。このように書くとごく当たり前のように聞こえるかもしれませんが、実際のところ、分析を意図した体制が整っていない企業ではデータが分析できる状態でないことが多くあります。データの抜けや漏れがあったり、更新されていないデータがあったり、いつどこで誰が変更したのかわからないようなことがあります。このような質の低いデータでは適切な意思決定をおこなうことは難しいでしょう。

データを活用している企業では高い品質のデータを準備することに非常に多くの労力を割いています。ビジネスの変化にともないデータ量は常に増え続け構造はより複雑化していきます。その最中において、データを分析し活用するためのデータマネジメントを実施していくことが求められるからです。本記事では、データを分析するために求められる品質とその改善について解説していきます。

データの品質基準

ビジネスでデータを活用するためにはデータの品質が重要です。データを用いた意思決定では正しいデータが大前提となっています。当然ですが、正しくないデータから適切な意思決定をすることはできません。間違ったデータから得られるのは不適切な意思決定だけです。

それでは、データの品質とはどのように定義すればよいのでしょうか？データの品質に対して具体的な要求を考えてみましょう。たとえば「毎日朝の9時まで必要なデータが入っている」とか「顧客の名前や連絡先など必須の情報に入力の抜けがない」といった要件が思いつきます。

各企業ごとにビジネスモデルや組織体制、システムの環境などから具体的に必要とされる要件に違いはあります。とはいえ、抽象的に求められるものはどこの企業でも大きな差はありません。ここでは抽象的に品質が高いデータの基準として国際基準であるISOや日本政府の提供している評価基準を参考にピックアップしてみましょう。

正確性

データの正しさです。データと実態に齟齬がない状態を目指します。例えば、CRMで顧客の名前や連絡先が間違っていたら正確なデータとは言い難いでしょう。誤字脱字も問題になります。

完全性

抜けや漏れの少なさで、分析のために必要なデータが存在することです。たとえば入力が必須項目であるはずが空欄のまま保存されていたら完全性に欠けたデータといえるでしょう。システム上の不備で一定期間のデータに抜けがあるような状態も避ける必要があります。

一貫性

データ同士の整合性です。データに矛盾があったりズレが存在すると分析するために前処理をする必要が生まれたり、そもそもデータとしてどれを信用したらよいのかわかりません。たとえば、郵便番号と住所が違っていたらどちらを信用すべきでしょうか？全角や半角、記号の表記ゆれなどは細かな差異のように見えますが分析では重大な問題になりえます。

最新性

データの新しさを示します。いつまでも古いままのデータでは変化の激しいビジネスの現場では使い物になりません。定期的な更新が必要です。加えて、更新の頻度も重要です。1日ごとの更新、1時間ごと、1分ごと、随時更新…と更新の頻度は高ければ高いほど望ましいですが保守・運用コストも高くなります。

追跡可能性

データがどこからきて、どのような変更が起きたのか追跡できることです。たとえば売上と一言にいっても請求書や入金で差が生まれますし広告やECサイトならプラットフォームのダッシュボードの数値もあり更新頻度や対象とする範囲が違いますのでどこの数値を見ているのかわかる必要があります。CRMを使っていれば入力後に変更されたりしたら誰がどのように変更したのか追跡しなければデータの信頼性に関わるでしょう。

データの品質を向上させるためのアクション

前述のようにデータの品質を定義する様々な基準を確認しました。それでは、これらの基準に対して品質を改善するにはどのような活動をしていけばよいでしょうか？当然、すべてを一瞬で解決できる銀の弾丸はありません。品質の改善は穴の空いたバケツを塞ぐようなものであり地道な対策を積み重ねることが必要です。

それでは暗中模索で対策を試すしかないのでしょうか？いいえ、そんなことはありません。データの品質を改善する基本的なプラクティスは多く存在します。プラクティスの実行だけで100点になるわけではありませんが多くの場合で効果が期待できます。ここではいくつか例を紹介しましょう。

データ品質を意識したプロセスとシステムの再設計

データは業務の様々な場所から発生しますが各々の業務フローは自分たちの事情に対して最適化されているものです。データの品質を改善するという目線から全体を設計しなおしていくことがまず必要になります。

たとえば、CRMのデータに抜け漏れが多いという問題があり原因が入力する時間を取ることができないことだとしたら、業務フローとして入力する時間を確保していく必要があります。場合によってはチーム内で確認しあうようなフローも良いでしょう。データを入力すること、品質の高いデータを作成することも業務の1つとして組み込むのです。このようにしてデータ品質の問題を解決できるような業務フローを構築していきます。

業務フローと同時に作業するためのシステムを変える必要もあるかもしれません。業務のやりやすさだけでなく、データ分析のために品質を高められるようなツールへと変えていきます。たとえば顧客情報を入力するならスプレッドシートよりCRMを使ったほうがデータ品質へのサポートが手厚いことがほとんどです。求められるデータを入力できることはもちろん、サービス同士の連携や統制、追跡がやりやすいツールを選ぶ必要があります。

既存の業務フローやシステムを変えることは簡単ではありません。慣れた方法を変えることはそれだけでもストレスがかかりますし、変えたせいで生産性が悪化したのでは意味がありません。現場のメンバーに悪い影響を与えないように必要な要件を整理したうえでスムーズに移行していけるように進める必要があります。

データ入力の統制

データの品質を向上させるためにはやはり入り口であるデータを入力するシーンで改善することが最も効果的です。データの品質を低下させる要因の多くは人間が手で入力するシーンにあります。アンケートやプロフィール、CRMなどは人間がデータを作成します。このような状況への対策として人間が監視して品質を上げる方法は実質的に不可能でしょう。

システマティックな対策として入力できる値を制限して統制する方法があります。顧客情報を表計算ソフトに直接入力しているような組織も少なくないでしょう。入力フォームを使うことでデータ入力を統制するやり方は定番の解決方法です。郵便番号のように入力された値が一定のフォーマットであることが期待できるなら自動でチェックする機能も役に立ちます。

「注意深く入力すればミスを減らすことができる」と考える人は少なくありません。しかし、人間の注意力は有限でありミスを減らすにも限界があります。誤字・脱字、数字や記号の半角・全角のゆれなどは注意していても気がつけないものです。機械的に解決できるものであれば可能な限りそのような手段で解決していくことが望ましいでしょう。分析する側から見ると「半角と全角の揺れがないように気をつけて入力している」というデータでは常に集計漏れの不安が残りますが「システム側で数字を常に半角にしている」というデータであれば安心して分析が進められます。

データの定義の整理

入力されているデータの意図が明確に言語化されていないと曖昧になり入力がブレがちです。表記ゆれや入力の矛盾、不整合がおきる要因としてそもそも定義が曖昧なまま認識が一致できていないことがあります。たとえば顧客情報を入力する際に「連絡先」という項目名だけではメールアドレスを入れる人と電話番号を入れる人どちらがいてもおかしくありません。定義を明確にし期待する入力をわかりやすくすることが必要です。

定義とはいつ、どこで、誰が、なにを、どうやって入力するのか明確にすることです。たとえば、お客様とアポイントが取れたことをCRMに保存している場合、どの段階で「アポイントが決まった」と定義するのか人によってブレがあります。口頭、メール、日程が決まる…etcなど段階によって確度が違いますので、分析する際にこの違いは重要です。定義として明確にしておくべきでしょう。

定義を整理し言語化することはデータの品質を高めるだけでなく、その後の分析の効率化にも貢献します。分析では集めたデータがそれぞれどのような背景で集められたデータなのか解釈をしながら進めることになります。その際に、それぞれのデータの定義が明確になっていることは有用です。

データの品質を高める組織づくり

データの品質を高めるための手法や戦略のプラクティスは多くありますが、一度実施して終わることはなく継続した取り組みが必要です。そのためには、データの品質を改善することを組織として推進していかなければいけません。

データを入力する部門がシステムや業務フローを改善するためにはその部門や事業部の協力が必要になります。そのためにはデータの品質についてオーナーシップの一端をその部門がもたなければいけません。責任を持たなければいつまでも他人事です。データを軸とした改革を進めるためにはデータ分析者と事業の責任者の両方が責任を持つべきです。

現場からしたらデータのことは分析チーム側で解決してほしいと思っているでしょう。逆に分析側はデータは現場で発生するから現場に対応してほしいと考えているでしょう。これはどちらが正しいなどと議論することに意味はありません。対立するのではなく歩み寄って問題を解決していく必要があるのです。

高い品質のデータを集めることはより良い意思決定に繋がり、ひいては組織全体への影響を与えます。データの品質改善はデータ分析部門だけの問題ではありません。会社のすべての人が関わる問題なのです。多くのステークホルダーがいるなかでうまく利害を調整しながら前進していく必要があります。そのような組織を作ることもまたデータ活用のためのデータマネジメントといえるでしょう。