あらゆるビジネスの意思決定はデータを基盤としており、その信頼性はデータの正確さ、完全性、最新性によって左右されます。データ品質に問題が生じると、その上に構築されたモデルやキャンペーン、予測も正常に機能しなくなります。
データ品質とは、単にデータ量を増やすことではありません。重要なのは、そのデータが信頼できるか、また目的に適しているかどうかです。お客様の理解、モデルの学習、パフォーマンスの測定、ビジネス上の意思決定など、いずれの用途においても同様です。
この記事では、以下の内容を解説します：
データ品質とは何か
データ品質とは、データセットが用途の要件をどの程度満たしているかを評価する概念であり、正確性、完全性、一貫性、適時性、有効性といった観点が含まれます。例えば、メールアドレスが欠落している顧客レコードはデータベースに存在していても、メールキャンペーンのユースケースでは全く活用できません。
データ品質の問題に最も頻繁に直面するのは、3つの役割です。データエンジニアはパイプラインの取り込み時にスキーマの不一致を発見します。マーケターはツール間でオーディエンス数が一致しないことに気づきます。アナリストはダッシュボード間で指標の定義が食い違っていることを見つけます。
データが下流のシステムで利用される時点で、データ品質は運用上の重要課題となります。低品質なデータを取り込んだ予測モデルやパーソナライゼーションエンジンは、誤った結果を出力しながらも信頼性があるように見えるため、まったく出力がない場合よりもむしろ危険です。
データ品質はデータ量とは別物です。重複や古くなったレコードが多い大規模なデータセットは、小規模でも適切に管理されたデータセットに比べ、あらゆる観点で低評価になることがあります。データ量が多くても、データ管理が不十分であれば意味をなしません。
データ品質の主要な要素とは
データ品質は6つの要素によって定義されます。各要素は独立して問題を引き起こし、下流で異なる症状として現れます。
- 正確性とは、データの値が実際の状態と一致していることを指します。チェックアウト時に収集された不正確な電話番号は、カスタマーサービスがコールバックを完了できなくなる原因となり、顧客との関係と取引の両方に損失をもたらします。
- 完全性とは、すべての必須フィールドにデータが入力されていることを指します。郵便番号が欠落している顧客プロファイルは、地域ターゲティングのオファーに使用できず、対象セグメントが縮小してしまいます。
- 一貫性 とは、同じエンティティが、それを保存するすべてのシステムで同じ値を持つことを意味します。お客様の生年月日がCRMプラットフォームとロイヤルティプラットフォームで異なる場合、年齢確認が必要なオファーやコンプライアンス対応において、どちらのシステムも信頼することができません。
- 適時性 (データの鮮度) とは、データがエンティティの現在の状態を反映していることを意味します。90日前に更新されたリードステータスが、先週契約を締結したお客様に対して、依然として 「見込み客対応中」 と表示される場合があります。
- 妥当性 とは、データが定義されたフォーマット、範囲、および業務ルールに準拠していることを意味します。返金が個別に追跡されている場合、売上テーブルに負の数値として記録された取引金額は、報告される返品額を実際より大きく見せてしまいます。
- 一意性 とは、現実の各エンティティが正確に1つのレコードとして表現されることを意味します。お客様の重複レコードは、オーディエンス数を水増しし、生涯価値の計算を歪め、重複したコミュニケーションを引き起こします。
データ品質の問題の大半は複数の次元にまたがっています。古くなった住所 (適時性) は不正確な住所でもあり、現在の住所が不明になると不完全な住所にもなります。1つの次元を修正すると、別の問題が浮かび上がることがよくあります。
データ品質がビジネス成果に与える影響とは
データ品質の低下は、マーケティング費用の無駄遣いという直接的なコストを生みます。無効なメールアドレスへのキャンペーン配信、アクティブな育成シーケンスに残り続ける解約済みのお客様、ボットデータで汚染された類似オーディエンスモデルのトレーニング——これらすべてがROASの低下を招きます。
コンプライアンスリスクは往々にして過小評価されています。不完全または一貫性なく保存された同意記録は、GDPRやCCPAに基づく規制上の措置にさらされるリスクを組織にもたらします。問題はデータの収集方法ではなく、データ品質の低さゆえに削除やオプトアウトの要求を正確に履行できないことにあります。
パーソナライゼーションが低品質なデータをもとに動作すると、カスタマーエクスペリエンスが損なわれます。誤った名前で呼ばれた再訪のお客様や、既に購入済みの商品のレコメンデーションを提示されたお客様は、そのブランドが自分のことを把握していないと感じます。失われた信頼を取り戻すには、多大なコストがかかります。
アナリストへの信頼は、見落とされがちなコストです。Anacondaの2022 State of Data Scienceレポートによると、データサイエンティストは作業時間の約40%をデータの準備とクレンジングに費やしていると推定されています。この時間から、分析もモデルもレコメンデーションも生まれません。これは上流のデータ品質の失敗が生む余分なコストです。
データ品質モニタリングとは、定義された品質ルールに対してデータを継続的にチェックする取り組みです。キャンペーン開始前に問題を発見できる組織と、事後分析で初めて問題に気づく組織との差は、ここで生まれます。
データ品質における代表的な課題とは
データ品質の問題は、データのライフサイクルのあらゆる段階で発生します。多くの組織が直面する代表的な課題を以下に挙げます。
- サイロ化されたデータソースは、構造的にデータの整合性の問題を生み出します。同じお客様がCRM、eコマースプラットフォーム、マーケティングオートメーションツールでそれぞれ異なるメール形式で登録されている場合、手動での照合またはID解決レイヤーなしには、どのレコードが正確かを確認することができません。
- 手動のデータ入力は、規模が大きくなるほど複合的なエラーを招きます。住所のフリーテキストフィールドでは、フォーマットのばらつきや誤字、入力漏れが発生し、精度と完全性が同時に低下します。
- スキーマドリフトは、上流システムがデータ構造を変更した際に下流の利用側へ通知しないことで発生します。例えば、フィールド名が 「customer_id」 から 「cust_id」 に変更されると、下流の列全体が気づかれないままnullになり、発覚まで数日かかることがあります。
- AIの学習データは、新たに注目すべき懸念事項です。重複した購入記録を含むデータセットでトレーニングされた商品レコメンデーションエンジンは、特定のSKUを過剰に重み付けし、ソースデータまで原因を追跡しなければ診断が困難な出力の歪みを引き起こします。
- データオーナーシップの欠如は、最も深刻な課題といえるかもしれません。データセットの品質に責任を負うチームが存在しない場合、孤立したテーブルには古いレコードが蓄積し続け、更新を促すワークフローも存在しません。ツールへの投資を行う前に、非公式な形であっても、データスチュワードシップ機能を確立することが最も効果的な取り組みとなることが多いです。
データ品質の測定方法
測定はまず、各ディメンションに対して品質ルールを定義し、それを適用してスコアを算出することから始まります。例えば完全性のルールとして、「リードテーブルのレコード100%においてメールフィールドへの入力が必須」といったものが挙げられます。このルールを実行することで、時系列で追跡可能な完全性スコアを得ることができます。
データ品質の分析では、データセット、pipeline、および期間にわたって品質スコアを集約し、品質が向上または低下している箇所をシステム全体の視点でデータチームが把握することができます。これを実現するには、データを生成・消費するシステムと連携した継続的なデータ品質監視が必要です。
エンタープライズのレポートでは、一般的に次の6つのメトリクスが使用されます。
閾値はユースケースによって異なります。財務台帳ではほぼ100%の正確性が求められる一方、行動イベントストリームでは一定割合の不正形式イベントを許容できる場合もあります。
品質レポートは、各データセットに依存するビジネスプロセスと連携している必要があります。顧客プロファイルの完全性を示す管理画面は、データエンジニアリングチームだけでなく、キャンペーンチームも確認する必要があります。情報の共有が、責任の共有につながります。
データ品質管理に含まれるものとは
データ品質管理とは、データのライフサイクル全体にわたって、データの分析・評価、修正・整備、標準化、および管理を継続的に実施するプロセスです。継続的な監視、明確な担当体制、そして問題が発生した際に対応するための作業フローが求められます。
- Data profilingは、データセットの構造、内容、関係性を分析してベースラインを確立します。フィールドの入力率、値の分布、参照整合性のギャップを明らかにし、「何を修正すべきか」を検討する前に、「実際に何があるのか」という問いに答えます。
- Data cleansingは、品質ルールに適合しないレコードを削除または修正します。標準化では一貫した形式を適用します。例えば、E.164形式の電話番号や郵便当局の基準に照らして検証された住所を統一することで、異なる発生元のレコードを統合した際に新たな整合性の問題が発生するのを防ぎます。
- Data stewardshipは、データセットレベルで人的な説明責任を明確にします。担当者は品質ルールを定め、問題に優先順位をつけ、データ発生元のシステム変更によってデータの下流側の品質が低下した場合には、上流側のデータ担当者と連携します。
エンタープライズレベルのデータ品質ベストプラクティスとして、重要なデータセットごとに品質SLAを定義すること、事後対応ではなくデータ取り込み時に品質チェックを自動化すること、根本原因を追跡できる十分なコンテキストとともにすべての障害を記録すること、そして業務KPIと同じ頻度で品質メトリクスをレビューすることが挙げられます。
データ成熟度モデルは、組織が自社の現在地を把握するのに役立ちます。最も低いレベルでは、品質上の問題はビジネスへの影響が生じた後に事後的に対処されます。最も高いレベルでは、自動化されたパイプラインが問題を検出し、利用システムへの到達前に修正します。
自組織に最適なアプローチをどのように選ぶか？
データソースが3つ未満で、品質上の問題を手動で検出している場合は、データプロファイリングと手動によるデータ管理から始めてください。この段階では、品質ルールとデータセットオーナーを管理するスプレッドシートの方が、設定担当者のいないエンタープライズプラットフォームよりも実用的です。
スキーマや更新頻度が異なるデータソースを5つ以上運用している場合、パイプラインの取り込み時に実施する自動データ品質モニタリングは最低限必要な投資です。手動チェックでは対応しきれなくなります。
パーソナライゼーションやリアルタイム意思決定を優先する場合、顧客プロファイルにおけるデータの正確性と完全性が、これらのシステムで達成できるパフォーマンスの上限を直接決定します。Adobe Experience Platformはインフラレベルでデータ品質に対応しており、エクスペリエンスデータモデル (XDM) を通じて設定可能なスキーマ適用を行い、取り込まれたデータ全体でID解決を実行します。ただし、データの一貫性を完全に確保するためには、別途バリデーションとモニタリングの仕組みを組織内で設ける必要がある場合もあります。
コンプライアンスが主な目的である場合、同意データとIDデータの完全性と一貫性が最優先事項となります。データ品質プラットフォームやデータ品質ツールを評価する際は、同意属性に特化したルールを適用できるかどうかを重点的に確認してください。
ソリューションを選択する前に、次のチェックリストを確認してください：
- 重要なデータセットごとに品質ルールが定義されているか。
- データ品質モニタリングは自動化されているか、それとも手動か。
- 各データセットに担当オーナーが指定されているか。
- 品質メトリクスはビジネスKPIと同じ頻度でレビューされているか。
- ソリューションはデータ取り込み時に品質を適用するか、それともデータが伝播した後にのみ適用するか。
5項目すべてに「はい」と答えられる組織は、エンタープライズグレードのソリューションの導入準備が整っています。2つを超える 「いいえ」 という回答がある組織は、まずガバナンスとオーナーシップの整備から取り組んでください。
よくある質問
データ品質とデータの整合性の違いとは？
データ品質が低い場合の例とはどのようなものですか？
データ品質の測定はどのくらいの頻度で行うべきですか？
時間の経過とともにデータ品質が低下する原因は何ですか？
データ品質とデータガバナンスの関係とは何ですか？
スキーマの適用、ID解決、組み込みのデータガバナンスが、お客様データ全体のデータ品質維持にどのように貢献するかについては、Adobe Experience Platform でご確認ください。
