{"id":4102,"date":"2014-03-04T12:00:00","date_gmt":"2014-03-04T11:00:00","guid":{"rendered":"http:\/\/www.gouvinfo.org\/IAI\/?p=4102"},"modified":"2014-02-14T17:56:57","modified_gmt":"2014-02-14T16:56:57","slug":"la-qualite-des-donnees-et-le-big-data-3b","status":"publish","type":"post","link":"https:\/\/gouvinfo.org\/IAI\/la-qualite-des-donnees-et-le-big-data-3b\/","title":{"rendered":"La qualit\u00e9 des donn\u00e9es et le Big Data (2\/4) – Exigences"},"content":{"rendered":"

\"db_comit\"Les exigences suppl\u00e9mentaires du big data<\/h2>\n

Le niveau requis en statistiques sera beaucoup plus \u00e9lev\u00e9 pour le big data tant pour l\u2019analyse premi\u00e8re (profilage) que pour \u00e9laborer des algorithmes. Par exemple, TF-IDF (term Frequency -Inverse Document Frequency) est une technique \u00e9l\u00e9mentaire en text mining qui n\u2019existe pas en profilage. On y utilisera plut\u00f4t une distance de Levenshtein, qu rel\u00e8ve d\u00e9j\u00e0 du profilage avanc\u00e9.<\/p>\n

Ensuite la palette de techniques en big data est beaucoup plus vaste. Il faut des techniques pour chaque type de donn\u00e9es. Il faut d\u00e9velopper des techniques lorsqu\u2019on m\u00e9lange les types de donn\u00e9es.<\/p>\n

La performance devient encore plus importante lorsque certaines techniques doivent donner une r\u00e9ponse en moins d\u2019une seconde voire en ms. Par exemple lorsqu\u2019il s\u2019agit d\u2019analyser et de r\u00e9agir \u00e0 des flux lors d\u2019\u00e9changes entre \u00e9tablissement financiers, ou en bourse ou pour sauver une vie \u00e0 l\u2019h\u00f4pital. Dans les entreprises, beaucoup de profilage reste p\u00e9riodique, m\u00eame si certaines entreprises ont mis en place des solutions qui v\u00e9rifient et nettoient les donn\u00e9es en temps r\u00e9el.<\/p>\n

Le big data requiert de d\u00e9velopper des algorithmes complexes, comme optimiser les transactions boursi\u00e8res pour profiter d\u2019une configuration particuli\u00e8res des donn\u00e9es, ou lorsqu\u2019il s\u2019agit d\u2019optimiser la recette d\u2019un vol entre Paris et New York.\u00a0 Le data scientist va maitriser de nombreux langages, le python, le C++, le Perl , R, Java et tout une palette d\u2019outils comme Hive, Mahout, Hadoop et beaucoup d\u2019autres ainsi que des approches algorithmiques avanc\u00e9es.<\/p>\n

En profilage classique, tout est fait pour l\u2019outil soit utilisable par un utilisateur non informatique mais expert dans la donn\u00e9e, sa signification, ses valeurs. Tout au plus saura-t-il faire du SQL. Quand l\u2019informatique intervient, ce sera tr\u00e8s souvent via du SQL.<\/p>\n

En profilage classique on connait bien les donn\u00e9es \u00e0 force de les cotoyer. En big data, de nombreuses donn\u00e9es seront nouvelles. La connaissance se p\u00e9rime plus vite. Les param\u00e8tres sont plus forts et plus nombreux. Il faut savoir \u00e9voluer dans un oc\u00e9an\u00a0 d\u2019incertitude et d\u2019ind\u00e9termination.<\/p>\n

Si une seule caract\u00e9ristique devait \u00eatre retenue, ce serait peut-\u00eatre la n\u00e9cessit\u00e9 de distinguer le bruit du signal dans le big data et pour tout type de donn\u00e9es. C\u2019est ainsi que Nate Silver s\u2019est fait un nom (http:\/\/www.fivethirtyeight.com\/<\/a>) lorsqu\u2019il y a su pr\u00e9dire correctement les r\u00e9sultats des derni\u00e8res \u00e9lections am\u00e9ricaines \u00e0 100%. Il n\u2019avait atteint que 98% en 2008.<\/p>\n

On pourrait visualiser le profilage classique en bas de l\u2019escalier de la Tour Eiffel et les techniques big data \u00e0 son premier \u00e9tage.<\/p>\n

En big data la quantit\u00e9 et la richesse permettent de r\u00e9\u00e9quilibrer la balance. La multiplicit\u00e9 des sources permet de les corroborer et d\u2019en d\u00e9gager des corr\u00e9lations. La quantit\u00e9 aussi. Mais la quantit\u00e9 permet surtout d\u2019appliquer des techniques probabilistes, comme dans l\u2019\u00e9tude des gaz parfaits et des fluides. Les lois sont d\u2019une autre nature que la m\u00e9canique newtonienne, mais elles n\u2019en sont pas moins applicables. En voici deux anecdotes.<\/p>\n

Watson et son cort\u00e8ge d\u2019ing\u00e9nieurs qui l\u2019ont construit et accompagn\u00e9s pendant tout le match Jeopardy\u00a0! en 2011 contre deux anciens vainqueurs Rutter et Jennings a utilis\u00e9 des techniques heuristiques et d\u2019intelligence artificielle ainsi qu\u2019un acc\u00e8s \u00e0 toute une documentation en ligne titanesque comme l\u2019enti\u00e8ret\u00e9 de Wikipedia. Deep Blue et toute une \u00e9quipe d\u2019ing\u00e9nieurs ont utilis\u00e9 des techniques heuristiques et probabilistes pour battre Garry \u00a0Kasparov en 1996.<\/p>\n

Recapitulatif des diff\u00e9rences entre qualit\u00e9 de donn\u00e9es traditionnelles vs qualit\u00e9 de donn\u00e9es big data<\/span><\/p>\n

Ce tableau est fortement inspir\u00e9 du livre de Sunil Soares \u00ab\u00a0Big Data Governance\u00a0\u00bb.<\/p>\n\n\n\n\n\n\n\n\n\n\n\n
\n

Dimension<\/b><\/p>\n<\/td>\n

\n

QD tradi<\/b><\/p>\n<\/td>\n

\n

QD big data<\/b><\/p>\n<\/td>\n<\/tr>\n<\/thead>\n

Fr\u00e9quence de traitement<\/b><\/td>\nPar lot p\u00e9riodique (hebdo, mensuel)<\/td>\nTemps r\u00e9el et p\u00e9riodique<\/td>\n<\/tr>\n
Vari\u00e9t\u00e9<\/b><\/td>\nDonn\u00e9es structur\u00e9es<\/td>\nTous types de donn\u00e9es\/informations<\/td>\n<\/tr>\n
Niveaux de confiance<\/b><\/td>\nHaut niveau a priori requis<\/td>\nIl faut d\u2019abord filtrer le bruit. Ensuite le niveau de qualit\u00e9 est beaucoup plus relatif et soumis \u00e0 des consid\u00e9rations ad hoc de conformit\u00e9 \u00e0 un objectif m\u00e9tier<\/td>\n<\/tr>\n
Moment de nettoyage<\/b><\/td>\nAvant chargement dans les applications (ex\u00a0: entrep\u00f4t de donn\u00e9es)<\/td>\nLes donn\u00e9es peuvent \u00eatre charg\u00e9es telles quelles parce leur nature et les relations qu\u2019elles entretiennent ne sont pas bien connues.On peut aussi n\u2019en stocker sur disque qu\u2019une partie car leur dur\u00e9e optimale de consommation est limit\u00e9e<\/td>\n<\/tr>\n
Composants critiques<\/b><\/td>\nFocus sur certains composants\u00a0: pour le client, ce peut \u00eatre son couple pr\u00e9nom\/nom<\/td>\nL\u2019exploration tient un r\u00f4le beaucoup plus important. Les \u00e9l\u00e9ments critiques \u00e0 un stade (aspects temporel et de causalit\u00e9) ou \u00e0 un niveau de granularit\u00e9 n\u2019est peut-\u00eatre pas le m\u00eame \u00e0 un autre stade ou niveau.La d\u00e9marche it\u00e9rative est plus prononc\u00e9e<\/td>\n<\/tr>\n
Lieu d\u2019analyse<\/b><\/td>\nLe nettoyage se fait dans un lieu d\u00e9di\u00e9 (le \u00ab\u00a0pressing\u00a0\u00bb), dans les outils DQ<\/td>\nLe \u00ab\u00a0pressing\u00a0\u00bb peut se d\u00e9placer vers le lieu de production ou d\u2019exploitation des donn\u00e9es.Il se peut qu\u2019il ne soit pas judicieux ou pratique de faire transiter de grandes quantit\u00e9s de donn\u00e9es.<\/td>\n<\/tr>\n
Administration<\/b><\/td>\nLes administrateurs peuvent g\u00e9rer une grande partie des donn\u00e9es sous leur responsabilit\u00e9<\/td>\nLa proportion g\u00e9rable est beaucoup plus faible<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

R\u00e9capitulatif des articles de la s\u00e9rie sur le big data et qualit\u00e9 des donn\u00e9es\u00a0:<\/b><\/p>\n