{"id":4083,"date":"2014-02-25T12:00:00","date_gmt":"2014-02-25T11:00:00","guid":{"rendered":"http:\/\/www.gouvinfo.org\/IAI\/?p=4083"},"modified":"2014-02-14T17:53:51","modified_gmt":"2014-02-14T16:53:51","slug":"la-qualite-des-donnees-et-le-big-data-3","status":"publish","type":"post","link":"https:\/\/gouvinfo.org\/IAI\/la-qualite-des-donnees-et-le-big-data-3\/","title":{"rendered":"La qualit\u00e9 des donn\u00e9es et le Big Data (1\/4) – Parall\u00e9lisme"},"content":{"rendered":"

\"db_status\"La qualit\u00e9 des donn\u00e9es fait partie de ces sujets \u00e9tranges qui paraissent \u00e9vidents, dont beaucoup sont convaincus, auxquels nous sommes tous confront\u00e9s quotidiennement mais dont le r\u00e9sultat pratique est piteux.<\/p>\n

Les raisons sont multiples et tr\u00e8s humaines, trop humaines. Nous n\u2019abordons pas dans cet article pourquoi il en est ainsi\u00a0; le sujet est trop vaste et complexe.<\/p>\n

Nous allons plut\u00f4t nous attacher \u00e0 comparer la qualit\u00e9 de donn\u00e9es telle qu\u2019elle est comprise et quelquefois appliqu\u00e9e dans les entreprises avec d\u2019une part le big data en tant que tel et d\u2019autre part comment transposer la qualit\u00e9 des donn\u00e9es au monde du big data.<\/p>\n

Le profilage des donn\u00e9es et le big data<\/b><\/h2>\n

Le profilage est la premi\u00e8re \u00e9tape de la qualit\u00e9 de donn\u00e9es et consiste \u00e0 faire un \u00e9tat des lieux. L\u2019approche statistique fait ressortir un ensemble de d\u2019\u00e9l\u00e9ments qui permettent de constater sur les donn\u00e9es r\u00e9elles combiens de champs sont renseign\u00e9s, dans quelle mesure certaines colonnes de tables ont un lien cach\u00e9 ou explicite, quelles sont les plages de valeurs r\u00e9ellement prises, quelles sont les formats r\u00e9els des donn\u00e9es et ainsi de suite.<\/p>\n

On examine, on analyse, on synth\u00e9tise, on mod\u00e9lise on v\u00e9rifie et on recommence.\u00a0 C\u2019est le profilage<\/p>\n

Plus tard on \u00e9tablira un mod\u00e8le permettant\u00a0 de lier ces indicateurs statistiques \u00e0 des niveaux plus agr\u00e9g\u00e9s jusqu\u2019\u00e0 ce qu\u2019on obtienne un lien de causalit\u00e9 entre des indicateurs m\u00e9tier comme\u00a0: le taux d\u2018attrition, le taux de pannes, la dur\u00e9e moyenne de communication, le taux de NPAI, l\u2019efficacit\u00e9 d\u2019une campagne marketing, le taux de recouvrement etc.<\/p>\n

L\u2019approche big data initiale est la m\u00eame que pour le profilage. On r\u00e9colte, on rapproche des donn\u00e9es, on observe et ainsi de suite. On emploi des outils statistiques et en fonction de ce qui est observ\u00e9 on les affine. L\u2019approche guid\u00e9e par les donn\u00e9es est appliqu\u00e9e dans les deux cas. Mais contrairement au big data, le profilage s\u2019attaque \u00e0 des volumes relativement restreints. Il s\u2019agit de quelques milliers \u00e0 quelques centaines de millions d\u2019enregistrements.<\/p>\n

Les donn\u00e9es sont cens\u00e9es \u00eatre connues car au c\u0153ur de l\u2019activit\u00e9 de l\u2019entreprise. La majorit\u00e9 des sources sont internes. Des normes internationales existent pour certaines donn\u00e9es de r\u00e9f\u00e9rence\u00a0: codes Iata, codes postaux, formats de t\u00e9l\u00e9phones. Il existe m\u00eame des fournisseurs de donn\u00e9es fiables comme les P&T.<\/p>\n

Ce qui distinguera le big data du profilage standard, ce seront les attributs du big data au sens du Gartner\u00a0:<\/p>\n