Objectifs:

L’Intégration et Interopérabilité des Données (Data Integration & Interoperability, DII) décrivent les processus impliqués dans le déplacement et la consolidation des données au sein et entre les Data Stores, les applications et les organisations. L’Intégration consolide les données dans des formes physiques ou virtuelles cohérentes; l’Interopérabilité des données est la capacité de communiquer entre plusieurs systèmes.

Les solutions de DII permettent d’assurer les fonctions de gestion des données dont dépendent la plupart des organisations:

• Migration et conversion de données 
• Consolidation de données dans des hubs ou des marts
• Intégration de paquets des fornisseurs dans le portefeuille des applications d’une organisation
• Partage des données entre applications et entre organisations
• Distribution des données entre les data stores et data centres
• Stockage des données
• Gestion des interfaces des données
• Obtention et insertion de données externes
• Intégration de données structurées et non structurées
• Forniture de intelligence opérationelle et d’aide pour les decisions de gestion

DII dépend d’autres domaines de la gestion des données:

• Gouvernance des Données
• Architecture des Donnèes
• Sécurité des Données
• Métadonnée
• Stockage et Opérations des Données
• Modélisation des Données et Desing

L’Intégration et Interopérabilité des Données sont essentielles pour l’Entreposage des Données et l’Informatique décisionelle (en anglais Business Intelligence), ainsi que pour le Données de Référence (reference data) et la Gestion des données de référence (Master Data Management), car toutes ces activités sont focalisées sur la transformation et l’intégration des donnèes des systèmes sources vers les hubs de données consolidés et des hubs vers les systèmes cibles, où elles peuvent être fournies aux utilisateurs de données, qu’il s’agisse de systèmes ou d’êtres humains.

Ils sont également au cœur du domaine émergent de Big Data Management. Les Big Data tendent à intégrer différents types de données, y compris les données structurées et stockées dans des bases des données, les données de texte non structurées dans des documents ou des fichier, d’autres types de données non structurées telles que des données audio, vidéo et de streaming. Ces données peuvent être extraites, utilisées pour développer des modèles prédictifs et mises en œuvre dans des activités de intelligence opérationelle.

Les activités d’Intégration et d’Interopérabilité des Données consistent à trouver les données là ou elles sont nécessaires, quand elles sont nécessaires et sous la forme voulue. Les activités d’intégration des données suivent un cycle de développement: elles commencent par la planification et passent par la conception, le développement, les tests et la mise en œuvre. Une fois mis en œuvre, les systèmes intégrés doivent être gérés, contrôlés et améliorés.

Activitées menées par notre Équipe:

Planification et analyse

• Définition des exigences d’intégracion des données et du cycle de vie: La définition des exigences d’intégracion des données implique de comprendre les objectifs commerciaux de l’organisation, ainsi que les données requises et les initiatives technologiques proposées pour atteindre ces objectifs. Le processus de définition des exigences crée et révèle des métadonnées précieuses, qui doivent être gérées tout au long du cycle de vie des données, depuis leur découverte (discovery) jusqu’à leur utilisation dans les processus opérationnels.Plus les métadonnées d’une organisation sont complètes et précises, mieux elle est en mesure de gérer les risque et les coûts de l’intégration des données.
• Exécuter la Découverte de Données: la Découverte de Données (data discovery) doit être effectuée avant la conception. L’objectif de la découverte de données est d’identifier les sources de données potentielles pour l’activité d’integration de données. La découverte permet d’identifier où les données peuvent être acquises et où elles peuvent être intégrées. Le processus combine la recherche technique à l’aide d’outils qui lisent les métadonnées et/ou le contenu des ensembles de données d’une organisation, et l’expertise en la matière.
• Documentation de la Lignée des données (Data Lineage): Le processus de Data Lineage permet de découvrir des informations sur la manière dont les données circulent au sein d’une organisation. Ces informations peuvent être utilisées pour documenter la lignée des données à un niveau éléve: comment les données analysées sont acquises ou créées par l’organisation, où elles se déplacent et sont modifiées au sein de l’organisation et comment elles sont utilisées par l’organisation pour les analytics, la prise de décision ou de déclenchement d’événements.
• Profilage des données: Comprendre le contenu et la structure des données est essentiel pour une correcte intégracion de données. Le profilage peut aider les équipes d’intégration à découvrir ces différences et à utiliser ces connaissances pour prendre de meilleures décisions en matière de sourcing et design. Si le profilage des données est ignoré, les informations qui devraient influencer la conception ne seront pas découvertes avant les tests ou les opérations. Le profilage de base prévoi l’analyse des suivantes éléments:
  • Le format des données tel qu’il est défini dans les strcutures de données et déduit des donnèes réelles
  • Remplissage des données, compris les niveaux des données null, blank ou de default
  • Les valeurs des données et la mesure dans laquelle elles correspondent à un ensemble défini de valeurs valides
  • Pattern y relations entre les datasets, telles que le champs apparentés et les règles de cardinalité
  • Relations avec d’autres datasets
• Rassembler les règles mètier: Les règles metièr constituent un sous-ensamble essentiel des exigences. Une règle de mètier est une unedéclaration (statement) qui définit ou contraint un aspect des processus de business. Les règles mètier visent à soutenir la structure de l’enterprise ou à contrôler ou influencer son comportement. Elle appartiennent à l’une des quatre catégories suivantes: definitions des termes de business, faits relatifs aux termes mutuels, contraintes ou affirmations d’actions et dérivations.

Conception de solutions d’Intégration de données

• Concevoir l’architecture d’intégration des données: Les solutions d’intégration de données doivent être spécifiées à la fois au niveau de l’entreprise et au niveau des solutions individuelles. En établissant des normes d’entreprise, l’organisation gagne du temps dans la mise en œuvre des solutions individuelles, car les évaluations et les négociations ont été effectuées avant du besoin. Une approche d’entreprise permet de réaliser des économies sur le coût des licences grâce à des remises de groupe et sur les coûts de gestion d’un ensemble cohérent et moins complexe de solutions.
• Modéliser hubs de données, des interfaces, des messages et des data service: Les structures de donnèes requises pour l’Intégration et Interopérabilité des Données comprennent celles dans lesquelles les données peristent, telles que les hubs de Gestion des données de référence (Master Data Management), Entrepôt de données (data warehouse), datamart et data store opérationnelles, et celles qui sont transitoires et utilisées uniquement pour le transfert ou la transformation des données, telles que les interfaces, les layouts des messages et les modèles canoniques.
• Mappage des sources de données vers les targets: Presque toutes les solutions d’intégration de données incluent la transformation des données de les structures souces vers les targets. Le mappage des sources vers les targets implique la spécificication de règles pour la tranformation des données d’une position et d’un format vers d’autres. La transformation peut être effectuée selon un programme de traitement par lots ou déclenchée par l’apparition d’un événement en temps réel. Elle peut être réalisée par la persistance physique du format target ou par la présentation virtuelle des données dans le format target.
• Concevoir l’Orchestration des données (Data Orchestration): Le flux des données dans une solution d’intégration de données doit être conçu et documenté. L’orchestration des données est le schéma des flux de données du début à la fin, y compris les étapes intermédiaires, nécessaires pour achever la transformation et/ou la transaction.

Développer des solutions d’intégration de données

• Développer un Data Service: Des services peuvent être développés pour accéder aux données, les transformer et les fournir comme spécifié, en fonction du modèle d’interaction sélectionné. Les outils ou les suites logicielles des fournisseurs sont le plus souvent utilisés pour mettre en œuvre des solutions d’intégration des données, telles que la transformation des données, la Gestion des données de référence, l’Entrepôt de données, etc. L’utilisation d’outils cohérents ou de suites standard des fournisseurs pour ces différents objectifs dans l’ensemble de l’organisation peut simplifier le support opérationnel et réduire les coûts opérationnels en permettant des solutions de support partagées.
• Développer des flux de données: Les flux de données d’intégration ou ETL sont généralement développés à l’aide d’outils spécialisés dans la gestion de ces flux de manière propriétaire. Les flux de données par lots sont développés dans un ordonnancuer (scheduler en anglais) (généralement l’ordonnancuer standard de l’entreprise) qui gère l’ordre, la fréquence et la dépendance de l’exécution des parties d’intégration de données qui ont été développées. Les exigences d’interopérabilité peuvent inclure le développement de mappages ou de points de coordination entre les data stores.
• Développer l’approche à la migration des données: Les données doit être déplacées lors de la mise en œuvre de nouvelles applications ou lorsque des applications sont mises hors service ou fusionnées. Les projets de migration de données sont souvent sous-estimés ou mal conçus, car on demande simplement aux programmeurs de « déplacer les données » et ils n’effectuent pas les activités d’analyse et de conception nécessaires à l’intégration des données. Lorsque les données sont migrées sans analyse appropriée, elles apparaissent souvent différentes du traitement normal ou les données migrées peuvent ne pas fonctionner comme prévu avec l’application.
• Développer l’approche à la publication: Les systèmes dans lesquels des données critiques sont créées ou gérées doivent mettre ces données à la disposition des autres systèmes de l’organisation. Les données nouvelles ou modifiées doivent être envoyées des applications qui produisent des données vers d’autres systèmes lorsque les données sont modifiées ou selon un calendrier périodique. La meilleure pratique consiste à établir des définitions de messages communes pour les différents types de données de l’organisation et à permettre aux utilisateurs de données disposant de l’autorité d’accès appropriée d’être informés de toute modification apportée aux données qui les intéressent.
• Développer des fluxes de processing d’événements complexes: Le développement de solutions de processing d’événements complexes nécessite:
  • La préparation de données historiques sur un individu, une organisation, un produit ou un marché et le pré-remplissage de modèles prédictifs
  • Le processing du flux de données en temps réel afin de compléter le modèle prédictif et d’identifier les événements importants (opportunités ou menaces)
  • L’exeécution de l’action déclenchée en réponse à la prédiction.
• Gestion des métadonnées DII: Au cours du processus de développement des solutions DII, une organisation créera et découvrira des métadonnées précieuses qui devraient être gérées et maintenues pour garantir la bonne compréhension des données dans le système et éviter de devoir les redécouvrir pour des solutions futures. Des métadonnées fiables améliorent la capacité d’une organisation à gérer les risques, à réduire les coûts et à tirer davantage de valeur de ses données. Les structures de données de tous les systèmes impliqués dans l’intégration des données doivent être documentées en tant que source, cible (target) ou staging, et inclure des définitions commerciales et techniques (structure, format, taille), ainsi que la transformation des données entre les data stores persistants.

Mise en œuvre et monitorage

Les data services qui ont été développés et testé doivent être activés. Le processing des données en temps réel nécessite le monitorage des problèmes en temps réel. Des paramètres indiquant les problèmes de processing potentiels et la notification directe des problèmes doivent être établis. Un monitorage automatique et manuel des problèmes doit être mis en place, en particulier au fur et à mesure que la complexité et le risque des réponses déclenchées augmentent.