Qualité des données : définition, dimensions et bonnes pratiques

Toute décision d’entreprise repose sur des données, et leur fiabilité dépend entièrement de leur exactitude, de leur exhaustivité et de leur actualité. Lorsque la qualité des données se dégrade, les modèles, les campagnes et les prévisions qui en dépendent s’effondrent avec elle.

La qualité des données ne se résume pas à en avoir davantage. Elle tient à leur fiabilité et à leur adéquation à l’usage visé — qu’il s’agisse de mieux comprendre les clients, d’entraîner un modèle, de mesurer des performances ou de prendre une décision stratégique.

Dans cet article, nous abordons :

• Qu’est-ce que la qualité des données ?
• Quelles sont les dimensions fondamentales de la qualité des données ?
• Pourquoi la qualité des données est-elle déterminante pour les résultats de l’entreprise ?
• Quels sont les défis les plus courants en matière de qualité des données ?
• Comment mesurer la qualité des données ?
• En quoi consiste la gestion de la qualité des données ?
• Comment choisir l’approche adaptée à l’organisation ?

La qualité des données évalue dans quelle mesure un jeu de données répond aux exigences de son usage, en couvrant l’exactitude, l’exhaustivité, la cohérence, l’actualité et la validité. Un enregistrement client sans adresse e-mail peut techniquement figurer dans une base de données, mais sa qualité est nulle pour tout cas d’usage lié à une campagne par e-mail.

Trois profils sont les plus souvent confrontés à des problèmes de qualité des données. Les ingénieurs et ingénieures données découvrent des incohérences de schéma lors de l’ingestion dans les pipelines. Les équipes marketing constatent des écarts dans les volumes d’audience entre les différents outils. Les analystes relèvent des définitions de mesures contradictoires d’un tableau de bord à l’autre.

La qualité des données devient un enjeu opérationnel critique dès qu’un système en aval consomme les données. Un modèle prédictif ou un moteur de personnalisation alimenté par des données de faible qualité génère des résultats erronés qui semblent pourtant fiables — ce qui est bien plus dangereux que de ne produire aucun résultat.

La qualité des données se distingue également de leur volume. Un jeu de données volumineux, truffé de doublons et d’enregistrements obsolètes, peut s’avérer moins performant sur toutes les dimensions qu’un jeu de données plus restreint mais soigneusement entretenu. Le volume ne compense pas une mauvaise hygiène des données.

Six dimensions définissent la qualité des données. Chacune peut faire défaut indépendamment et engendre un symptôme distinct en aval.

• Exactitude : la valeur d’une donnée correspond à la réalité qu’elle représente. Un numéro de téléphone erroné collecté lors du passage en caisse empêche le service client de rappeler, compromettant à la fois la relation et la transaction.
• Exhaustivité : tous les champs obligatoires sont renseignés. Un profil client sans code postal ne peut pas être ciblé par des offres géolocalisées, ce qui réduit le segment adressable.
• La cohérence garantit qu’une même entité conserve la même valeur dans chaque système qui la stocke. Si la date de naissance d’un client diffère entre la plateforme de gestion de la relation client (CRM) et la plateforme de fidélité, aucun des deux systèmes n’est fiable pour les offres conditionnées par l’âge ou pour répondre aux exigences de conformité.
• L’actualité (ou fraîcheur des données) signifie que les données reflètent l’état actuel de l’entité. Un statut de lead mis à jour il y a 90 jours peut encore afficher « prospection » pour un client ayant signé un contrat la semaine précédente.
• La validité signifie que les données respectent les formats, plages et règles métier définis. Lorsque les remboursements sont suivis séparément, un montant de transaction enregistré comme nombre négatif dans une table de ventes gonfle les retours déclarés.
• L’unicité garantit que chaque entité du monde réel ne figure qu’une seule fois dans les données. Les doublons dans les enregistrements clients gonflent les comptages d’audience, faussent les calculs de valeur vie client et génèrent des communications redondantes.

La plupart des défaillances en production touchent plusieurs dimensions à la fois. Une adresse obsolète (actualité) est aussi une adresse inexacte, et souvent incomplète dès lors que l’adresse actuelle est inconnue. Corriger une dimension en révèle fréquemment une autre.

Une mauvaise qualité des données représente un coût direct en dépenses marketing gaspillées. Les campagnes envoyées à des adresses e-mail non valides, les clients désengagés maintenus dans des séquences d’accompagnement actives et les modèles d’audience similaire entraînés sur des données contaminées par des bots dégradent tous le retour sur dépenses publicitaires.

Le risque de conformité est souvent sous-estimé. Des enregistrements de consentement incomplets ou stockés de manière incohérente peuvent exposer les organisations à des actions réglementaires au titre du RGPD et du CCPA, non pas parce que les données ont été mal collectées, mais parce que leur qualité rendait impossible le traitement précis d’une demande de suppression ou d’opposition.

L’expérience client se dégrade lorsque la personnalisation repose sur des données de mauvaise qualité. Un client fidèle interpellé par un mauvais nom, ou à qui l’on propose en recommandation un article qu’il a déjà acheté, comprend clairement que la marque ne le connaît pas. Cette érosion de la confiance est longue et coûteuse à réparer.

La confiance des analystes représente un coût souvent invisible. Selon le rapport Anaconda 2022 State of Data Science, les data scientists estiment consacrer environ 40 % de leur temps à la préparation et au nettoyage des données. Ce temps ne produit ni analyses, ni modèles, ni recommandations — il représente une surcharge engendrée par des défaillances de qualité en amont.

La surveillance de la qualité des données — cette pratique qui consiste à vérifier en continu les données au regard de règles de qualité définies — distingue les organisations qui détectent les problèmes avant le lancement d’une campagne de celles qui ne les découvrent qu’après coup.

Les problèmes de qualité des données peuvent survenir à n’importe quelle étape du cycle de vie des données. Voici quelques-uns des défis les plus fréquents auxquels les organisations sont confrontées :

• Les sources de données cloisonnées génèrent par nature des incohérences dans les données. Lorsque le même client apparaît sous trois formats d’e-mail différents dans un outil de gestion de la relation client, une plateforme e-commerce et un outil d’automatisation marketing, aucun enregistrement ne peut être certifié exact sans résolution manuelle ou sans couche de résolution des identités.
• La saisie manuelle de données introduit des erreurs qui s’accumulent à grande échelle. Les champs d’adresse en texte libre génèrent des variations de format, des fautes d’orthographe et des éléments manquants, nuisant simultanément à la précision et à l’exhaustivité des données.
• La dérive de schéma se produit lorsque des systèmes en amont modifient leur structure de données sans en informer les consommateurs en aval. Un champ renommé de «customer_id» en «cust_id» peut vider silencieusement une colonne entière en aval pendant plusieurs jours avant que quiconque ne s’en aperçoive.
• Les données d’entraînement de l’IA constituent une préoccupation croissante. Un moteur de recommandations de produits entraîné sur un jeu de données comportant des enregistrements d’achats en double surpondèrera certains SKU, faussant les résultats d’une manière difficile à diagnostiquer sans remonter jusqu’aux données sources.
• L’absence de responsabilité sur les données est peut-être l’un des défis les plus préjudiciables. Lorsqu’aucune équipe n’est responsable de la qualité d’un jeu de données, des tables orphelines accumulent des enregistrements obsolètes sans aucun workflow pour déclencher les mises à jour. Mettre en place une fonction de gestion des données, même de façon informelle, constitue souvent une action à fort effet de levier avant tout investissement dans des outils.

La mesure commence par la définition de règles de qualité par dimension, puis par leur application pour générer un score. Pour l’exhaustivité, une règle pourrait être : « le champ e-mail doit être renseigné pour 100 % des enregistrements de la table des prospects. » L’exécution de cette règle produit un score d’exhaustivité que l’on peut suivre dans le temps.

L’analyse de la qualité des données agrège les scores de qualité sur l’ensemble des jeux de données, des pipelines et des périodes, offrant aux équipes data une vision à l’échelle du système pour identifier où la qualité progresse ou se dégrade. Cela nécessite une surveillance continue de la qualité des données, étroitement liée aux systèmes qui produisent et consomment ces données.

Six métriques sont couramment utilisées dans le reporting d’entreprise :

Les seuils varient selon le cas d’usage. Un grand livre financier exige une exactitude proche de 100 %, tandis qu’un flux d’événements comportementaux peut tolérer un faible pourcentage d’événements malformés.

Le reporting qualité doit être rattaché aux processus métier qui dépendent de chaque jeu de données. Un tableau de bord de complétude pour les profils clients doit être examiné par l’équipe de campagne, et pas seulement par les équipes d’ingénierie des données. Une visibilité partagée engendre une responsabilité partagée.

La gestion de la qualité des données est un processus continu de profilage, de nettoyage, de normalisation et de gouvernance des données tout au long de leur cycle de vie. Elle repose sur une surveillance permanente, des responsabilités clairement définies et un workflow de résolution des incidents à mesure qu’ils surviennent.

• Le profilage des données analyse la structure, le contenu et les relations d’un jeu de données pour établir une base de référence. Il met en évidence les taux de remplissage des champs, les distributions de valeurs et les lacunes d’intégrité référentielle, répondant à « Que possédons-nous réellement ? » avant de se demander « Que devons-nous corriger ? »
• Le nettoyage des données supprime ou corrige les enregistrements qui ne respectent pas les règles de qualité. La normalisation applique des formats cohérents, comme les numéros de téléphone au format E.164 et les adresses validées par rapport à un référentiel postal officiel, afin que les enregistrements provenant de sources différentes puissent être fusionnés sans générer de nouvelles incohérences.
• La gestion des données attribue une responsabilité humaine au niveau du jeu de données. Un responsable des données définit les règles de qualité, analyse les défaillances et se coordonne avec les producteurs en amont lorsqu’une modification d’un système source dégrade la qualité en aval.

Les bonnes pratiques de qualité des données à l’échelle de l’entreprise consistent à définir des SLA de qualité pour chaque jeu de données critique, à automatiser les contrôles qualité lors de l’ingestion plutôt qu’après coup, à consigner chaque anomalie avec suffisamment de contexte pour en identifier l’origine, et à examiner les métriques de qualité selon le même rythme que les KPI opérationnels.

Un modèle de maturité des données permet aux organisations d’évaluer leur positionnement. Au niveau le plus bas, les problèmes de qualité sont traités de façon réactive, une fois l’impact métier constaté. Au niveau le plus élevé, des pipelines automatisés détectent et corrigent les anomalies avant qu’elles n’atteignent les systèmes consommateurs.

Si votre organisation compte moins de trois sources de données et détecte les anomalies de qualité manuellement, démarrez avec le profilage des données et une gestion manuelle. À ce stade, un tableur répertoriant les règles de qualité et les responsables de jeux de données s’avère plus utile qu’une plateforme d’entreprise sans personne pour la configurer.

Si vous gérez cinq sources de données ou plus avec des schémas et des fréquences de mise à jour différents, la surveillance automatisée de la qualité des données lors de l’ingestion dans le pipeline constitue l’investissement minimum indispensable. Les vérifications manuelles ne passent pas à l’échelle.

Si la personnalisation ou la prise de décision en temps réel est une priorité, la précision et l’exhaustivité des données dans les profils clients déterminent directement le niveau maximal que ces systèmes peuvent atteindre. Adobe Experience Platform traite certains aspects de la qualité des données au niveau de l’infrastructure, en appliquant une validation de schéma configurable via son Modèle de données d’expérience (XDM) et en effectuant la résolution des identités sur les données ingérées, même si les organisations peuvent encore avoir besoin de processus de validation et de surveillance distincts pour garantir pleinement la cohérence des données.

Si la conformité est le moteur de l’initiative, l’exhaustivité et la cohérence des données de consentement et d’identité représentent les dimensions prioritaires. Pour évaluer toute plateforme et tout outil de qualité des données, examinez leur capacité à appliquer des règles sur les attributs de consentement en particulier.

Avant de sélectionner une solution, passez en revue cette liste de contrôle :

1. Des règles de qualité ont-elles été définies pour chaque jeu de données critique ?
2. La surveillance de la qualité des données est-elle automatisée ou manuelle ?
3. Chaque jeu de données dispose-t-il d’un responsable désigné ?
4. Les métriques de qualité sont-elles examinées selon le même rythme que les KPI métier ?
5. La solution applique-t-elle les règles de qualité lors de l’ingestion, ou seulement après la propagation des données ?

Les organisations qui répondent oui aux cinq critères sont prêtes pour une solution à l’échelle de l’entreprise. Celles qui comptent plus de deux réponses « non » doivent d’abord s’atteler aux questions de gouvernance et de propriété des données.

Pour voir comment l’application de schémas, la résolution des identités et la gouvernance des données intégrée contribuent à maintenir la qualité des données clients, découvrez Adobe Experience Platform sur Adobe Experience Platform.