Techniques essentielles de nettoyage des données pour une meilleure qualité des données

Des données inexactes, dupliquées ou mal formatées compromettent silencieusement chaque décision marketing, chaque prédiction de modèle et chaque interaction client qui reposent sur elles. Le nettoyage des données est le processus systématique qui détecte et corrige ces erreurs avant qu’elles ne s’accumulent en aval. Savoir quelles techniques appliquer et à quel moment fait toute la différence entre un actif de données qui stimule la croissance et un passif qui grève le budget.

Cet article aborde les points suivants :

• Qu’est-ce que le nettoyage des données ?
• Pourquoi la qualité des données est-elle déterminante pour les résultats de l’entreprise ?
• Quelles sont les principales techniques de nettoyage des données ?
• Comment l’IA transforme-t-elle le processus de nettoyage des données ?
• Comment choisir la bonne approche pour votre organisation ?

Le nettoyage des données — également appelé épuration ou assainissement des données — est le processus qui consiste à identifier et à corriger les erreurs, incohérences et inexactitudes dans un jeu de données afin de le rendre exploitable. Une équipe marketing peut, par exemple, nettoyer un export de gestion de la relation client pour éliminer les contacts en double avant de lancer une campagne par e-mail segmentée. Sans cette étape, un même client risque de recevoir deux fois la même offre, ce qui gaspille les ressources d’envoi et nuit à la perception de la marque.

Les problèmes de qualité des données se répartissent en catégories bien définies :

• Les valeurs manquantes surviennent lorsqu’un champ obligatoire est laissé vide, par exemple un numéro de téléphone ou une adresse e-mail non renseignés lors de la soumission d’un formulaire.
• Les valeurs inexactes apparaissent lorsque des données se retrouvent dans le mauvais champ ou contiennent des erreurs de saisie, comme un code postal entré dans un champ de région.
• Les enregistrements dupliqués surviennent lorsque le même client figure à deux reprises avec de légères variantes orthographiques dans son nom ou provient de systèmes sources distincts.
• Les incohérences structurelles apparaissent lorsque différentes sources formatent le même type de données de manière différente, comme des dates stockées au format JJ/MM/AAAA dans un système et AAAA-MM-JJ dans un autre.

Le nettoyage des données se distingue de la transformation des données. Le nettoyage corrige les erreurs au sein des champs existants, tandis que la transformation restructure ou réorganise les données d’un format ou d’un schéma vers un autre. Ces deux opérations font partie d’un pipeline de préparation des données plus large, mais elles répondent à des problèmes distincts. Un champ de date contenant « 13/25/2024 » requiert un nettoyage, car il s’agit d’une date invalide. En revanche, un champ de date valide à convertir d’une chaîne de caractères en horodatage Unix nécessite une transformation.

Toutes les équipes qui s’appuient sur les données sont confrontées au nettoyage des données. Qu’il s’agisse d’analystes préparant des jeux de données pour la modélisation des données, d’équipes marketing opérationnelles constituant des segments d’audience ou d’ingénieurs et d’ingénieures de données chargeant des enregistrements dans un entrepôt, tous ont besoin de données propres pour que leur travail produise des résultats fiables. La vraie question n’est pas de savoir si votre organisation a besoin de nettoyage des données, mais de déterminer si ce processus est mené de façon systématique ou s’il repose sur des correctifs ponctuels qui laissent passer des erreurs à grande échelle.

Une mauvaise qualité des données a un coût direct. Des enregistrements clients inexacts entraînent des campagnes mal ciblées, des dépenses publicitaires gaspillées et des échecs en matière de personnalisation qui érodent la confiance de la clientèle. Selon la note de recherche de Gartner de 2021, « How to Improve Your Data Quality », parue dans leur flux de recherche Data and Analytics, les organisations estiment à 12,9 millions $ en moyenne l’impact financier annuel d’une mauvaise qualité des données. Même un faible taux d’erreur — disons 3 % des enregistrements contenant au moins une inexactitude — se multiplie sur des millions d’enregistrements pour générer des milliers d’interactions clients défaillantes à chaque cycle de campagne.

Les systèmes en aval amplifient les problèmes liés à des données de mauvaise qualité plutôt qu’ils ne les contiennent. Un modèle de machine learning entraîné sur des données inexactes intègre ces erreurs dans chacune de ses prédictions. Un parcours client construit sur un graphe d’identités fragmenté génère des messages en doublon ou ignore certains clients. Prenons l’exemple d’une enseigne de grande distribution qui fusionne ses données d’achats en ligne et en magasin pour constituer des segments de fidélité : si 8 % des enregistrements clients sont dupliqués entre ces deux sources, le segment clients les plus rentables de la marque sera gonflé de profils fantômes, ce qui faussera l’affectation du budget et diluera les offres envoyées aux clients et clientes véritablement à forte valeur.

La conformité réglementaire ajoute une dimension d’urgence supplémentaire. Des réglementations en matière de confidentialité des données, telles que le RGPD et le CCPA, imposent aux organisations de tenir des enregistrements précis et actualisés sur les personnes concernées. Lorsqu’une personne soumet une demande de suppression de données, une organisation dont les enregistrements sont dupliqués ou incohérents risque de ne pas supprimer toutes les occurrences, créant ainsi une lacune en matière de conformité susceptible d’attirer l’attention des régulateurs et d’entraîner des sanctions financières.

Le nettoyage des données constitue également le socle d’un enrichissement des données efficace. Il est impossible d’ajouter de manière fiable des attributs tiers à un enregistrement client tant que les champs existants de cet enregistrement ne sont pas précis et dédupliqués. Enrichir un enregistrement en double ne génère pas un profil plus riche : cela crée deux profils contradictoires. Des données nettes sont un prérequis pour des données plus riches. La gouvernance des données à grande échelle garantit le maintien de ces standards de qualité à mesure que les organisations se développent.

Plusieurs techniques de nettoyage des données permettent de traiter différentes catégories de problèmes de qualité. Le choix de la technique appropriée dépend du type d’erreur, du volume de données et du cas d’usage en aval.

La déduplication identifie et fusionne ou supprime les enregistrements représentant une même entité du monde réel. La correspondance approximative, qui compare des enregistrements similaires mais non identiques — comme Jon Smith face à John Smith, à la même adresse — est indispensable lorsque la seule logique de correspondance exacte ne suffit pas à détecter les doublons. Dans les bases de données B2B, sans gestion active de la qualité des données, les doublons peuvent représenter entre 10 % et 30 % des contacts selon les estimations. Leur suppression réduit les coûts d’envoi des campagnes et améliore les métriques de délivrabilité.

La standardisation convertit les données dans un format cohérent pour l’ensemble des enregistrements. Les numéros de téléphone exprimés sous les formes (555) 867-5309, 555-867-5309 et 5558675309 représentent la même valeur. La standardisation les regroupe en un format canonique unique. Cette discipline de standardisation des données est un prérequis pour la jointure d’enregistrements entre systèmes. Sans elle, une simple jointure SQL sur le numéro de téléphone traite ces trois formats comme trois clients différents.

Le traitement des valeurs manquantes résout les champs nuls ou vides selon l’une des trois stratégies suivantes :

• L’imputation substitue une valeur dérivée statistiquement ou fondée sur des règles, par exemple en renseignant un champ de département manquant à partir du code postal.
• Le marquage signale le champ comme inconnu, afin que les modèles en aval le traitent explicitement, plutôt que d’ignorer l’enregistrement ou d’attribuer la valeur zéro par défaut.
• La suppression d’enregistrements élimine les enregistrements incomplets lorsque l’exhaustivité est impérative, comme dans le cadre des rapports financiers, où des enregistrements partiels violeraient les exigences d’audit.

La stratégie adéquate dépend de l’importance du champ pour le cas d’usage concerné. Imputer une catégorie de produit manquante pour un modèle de recommandation est raisonnable. En revanche, imputer un indicateur de consentement manquant dans un workflow de confidentialité ne l’est pas.

Les règles de validation imposent des contraintes auxquelles les données doivent satisfaire pour être acceptées. Un champ de date de naissance ne peut pas contenir une date future. Une adresse e-mail doit correspondre à un format syntaxique valide. Un code pays doit figurer dans une liste de référence ISO. La validation des données constitue souvent le premier filtre d’un pipeline de données : elle intercepte les erreurs à l’ingestion avant qu’elles ne se propagent dans les tables de reporting et les systèmes d’activation.

La détection des valeurs aberrantes met en évidence des valeurs statistiquement improbables, susceptibles de révéler des erreurs de saisie plutôt que de véritables extrêmes. Un montant de transaction de 1 000 000 $ dans un jeu de données dont la médiane est de 45 $ mérite un examen approfondi. Il peut s’agir d’une erreur de frappe, d’une erreur de conversion de devises ou d’un cas limite légitime nécessitant un traitement particulier. L’essentiel est de signaler l’anomalie pour qu’elle soit examinée, plutôt que de l’inclure ou de l’exclure sans la relever.

L’analyse syntaxique et la restructuration décomposent les champs composés en éléments atomiques. Un champ unique Nom complet divisé en Prénom et Nom de famille ouvre la voie à la personnalisation et au tri. Une adresse découpée en rue, ville, département et code postal facilite la segmentation géographique. Cette technique recoupe souvent la transformation des données, mais elle vise la correction plutôt que la modification du schéma.

Le nettoyage basé sur des règles repose sur une logique explicite de type « si/alors » pour chaque type d’erreur. Mais cette approche atteint ses limites à grande échelle, car les schémas d’erreurs sont trop variés et évoluent trop rapidement pour que des règles manuelles puissent suivre le rythme. Une règle qui détecte N/A dans un champ téléphone passera à côté de not available, none, ou d’un caractère Unicode vide. Le nettoyage assisté par IA remplace ou complète les règles statiques par des modèles qui apprennent les schémas d’erreurs directement à partir des données.

Les modèles de machine learning détectent des doublons sémantiques qu’une simple correspondance de chaînes de caractères laisserait passer. Deux enregistrements faisant référence à Adobe Inc. et Adobe Systems Incorporated désignent pourtant la même entité. Un modèle de résolution d’entités entraîné le reconnaît, là où une comparaison textuelle basique échoue. Pour les organisations dont les bases de données clients comptent des millions d’entrées, cette approche réduit le temps de révision manuelle de plusieurs semaines à quelques heures.

Le traitement automatique du langage naturel (NLP) permet de nettoyer les champs de texte libre tels que les descriptions de produits, les notes de support ou les lignes d’adresse saisies de façon incohérente par les utilisateurs et utilisatrices. Un modèle NLP peut extraire des valeurs structurées — ville, catégorie de produit et sentiment — à partir de textes non structurés, transformant ainsi des données bruitées en données interrogeables. Une équipe de support qui consigne les problèmes clients dans des notes en texte libre peut, par exemple, recourir à l’extraction NLP pour catégoriser ces problèmes à des fins d’analyse de tendances, sans que les agents et agentes aient à sélectionner une option dans une liste déroulante à chaque interaction.

Pour les entreprises, le nettoyage assisté par IA présente deux avantages décisifs : la rapidité et la montée en charge. Ce qui demandait autrefois à un analyste ou une analyste de données de faire tourner des scripts de traitement par lots pendant plusieurs semaines peut désormais s’effectuer en continu dans un pipeline de streaming, interceptant les erreurs dès l’ingestion plutôt qu’après qu’elles ont contaminé les rapports en aval. La contrepartie tient à l’interprétabilité du modèle : une erreur détectée par une règle est simple à auditer, alors qu’une erreur signalée par un modèle exige des seuils de confiance et une révision humaine dans la boucle pour les enregistrements à forts enjeux, notamment dans les secteurs réglementés où il faut pouvoir justifier toute modification d’un enregistrement.

Si votre volume de données est inférieur à quelques centaines de milliers d’enregistrements et que les erreurs sont structurelles et prévisibles, le nettoyage manuel à l’aide de fonctions de tableur ou de scripts Python avec une bibliothèque telle que pandas suffit amplement. Cette approche ne passe toutefois pas à l’échelle et crée une dépendance vis-à-vis de personnes spécifiques, au détriment d’un processus reproductible. Lorsque cet analyste ou cette analyste quitte l’organisation, la logique de nettoyage part souvent avec lui ou elle.

Si votre organisation exploite plusieurs sources de données à croiser — gestion de la relation client, analytique web, points de vente et tickets de support —, une approche à l’échelle de la plateforme devient indispensable. Celle-ci doit appliquer une logique de nettoyage de manière cohérente à toutes les sources lors de l’ingestion, et non sous forme de traitement par lots ponctuel. C’est là qu’interviennent les outils de nettoyage des données dédiés et les plateformes de données client, qui s’imposent comme des investissements stratégiques. Les organisations des secteurs réglementés doivent également évaluer la façon dont la plateforme retenue prend en charge les techniques d’anonymisation des données, les workflows de nettoyage et ceux liés à la confidentialité opérant souvent sur les mêmes enregistrements sous-jacents.

Lorsque votre cas d’usage porte sur la résolution des identités des clients à grande échelle — fusion de profils connus et anonymes, respect des états de consentement et activation des audiences en temps réel — la couche de nettoyage doit être intégrée dans le graphe d’identités lui-même, et non appliquée comme une simple étape de prétraitement. Adobe Experience Platform répond à cette exigence architecturale en appliquant des règles de qualité des données au niveau du schéma, grâce au Modèle de données d’expérience (XDM) : les données sont validées et normalisées dès leur entrée dans le système. Ainsi, un numéro de téléphone reçu depuis une application mobile et ce même numéro transmis par un centre d’appels peuvent être consolidés en un profil unique par rapprochement d’identités, dès lors qu’une identité commune est présente, plutôt que de générer deux enregistrements distincts nécessitant un traitement de déduplication par lots.

Évaluez toute solution de nettoyage à l’aune de quatre critères :

1. Prend-elle en charge aussi bien le traitement en continu que le traitement par lots ?
2. Propose-t-elle des règles de validation configurables, sans nécessiter de développement spécifique pour chaque nouvelle source de données ?
3. Offre-t-elle une traçabilité des données permettant d’auditer les enregistrements modifiés et les raisons de ces modifications ?
4. S’intègre-t-elle à la couche d’activation en aval — analytique, personnalisation ou publicité — sans nécessiter d’étape d’export distincte ?

Enfin, instaurez un rythme régulier de nettoyage, et pas seulement des opérations ponctuelles. Les données se dégradent en permanence : les adresses e-mail deviennent invalides, les intitulés de poste évoluent, et les nouvelles sources introduisent de nouveaux types d’erreurs. Les organisations qui appliquent les bonnes pratiques d’hygiène des données traitent le nettoyage comme une discipline opérationnelle continue, et non comme un projet trimestriel. Celles qui le considèrent comme une simple remise à plat constatent une érosion de la qualité des données en l’espace de quelques mois.

Les organisations qui font de la qualité des données une discipline continue sont mieux armées pour exploiter des connaissances client fiables à grande échelle. Si votre organisation est prête à passer des corrections ponctuelles à des opérations de qualité des données à l’échelle de l’entreprise, Adobe Experience Platform propose la validation au niveau des schémas, la résolution des identités et une gouvernance des données en temps réel sur une plateforme unique. Pour en savoir plus sur Adobe Experience Platform.