Architecture des données

Cadres d'architecture de données

Un cadre d'architecture de données est une structure conceptuelle utilisée pour planifier, développer, mettre en œuvre, gouverner et maintenir une architecture. Trois cadres sont principalement utilisés :

TOGAF : l'architecture de données la plus couramment employée est TOGAF, développée par The Open Group en 1995. Ce cadre vise à aligner la stratégie et les finalités de l'architecture des données sur les objectifs commerciaux.

DAMA-DMBoK2 : DAMA International a publié le Corpus de connaissances de la gestion des données pour la première fois en 2018. Ce cadre, qui se concentre sur la gestion des données, définit des principes et des directives de gestion des données.

Cadre Zachman : développé en 1987 par John Zachman, ce cadre est une matrice pour la gestion de l'architecture d'entreprise. Il facilite l'organisation des modèles, des spécifications et des documents, entre autres. Ce cadre s'articule autour de six questions centrales : qui, quoi, quand, où, pourquoi et comment.

Composants de l'architecture des données

L'architecture des données s'appuie sur plusieurs pour permettre aux organisations d'exploiter efficacement leurs données. Exemples de composants clés :

Stockage des données : le stockage des données est le mécanisme qui assure le stockage et la gestion des données, les protège et les organise de manière sécurisée, et veille à ce qu'elles puissent être récupérées, traitées et analysées.

Pipeline de données : un pipeline de données est un processus de bout en bout visant à déplacer les données d'un système à un autre, d'un emplacement de stockage vers une application, par exemple. Le pipeline inclut toutes les étapes du processus : affinement, stockage et analyse.

Flux de données : un flux de données déplace également les données d'un endroit à un autre, mais cette fois la circulation se fait en continu de la source à la destination. Le flux permet de traiter et d'analyser les données en temps réel.

Tableau de bord de données : un tableau de bord est une interface qui présente visuellement des métriques et des informations importantes provenant de diverses sources. Il facilite la supervision, l'analyse et la prise de décision en temps réel.

Gouvernance des données : la gouvernance des données est le processus qui consiste à établir des politiques et des cadres pour une gestion efficace des données. En alignant l'ensemble des exigences liées aux données sur la stratégie de l'entreprise, la gouvernance des données optimise les fonctions de gestion, de qualité et de visibilité. Une bonne gouvernance des données permet à une organisation d'exploiter pleinement le potentiel de ses données tout en assurant leur sécurité et leur conformité.

Intégration des données : lorsque l'architecture des données favorise leur intégration, les données circulent librement entre les systèmes. L'élimination des silos aide l'organisation à capitaliser sur ses données.

Partage des données : le partage met les données à disposition d'un usage interne ou externe. Une architecture de données qui favorise un partage efficace des données facilite la collaboration et ouvre la porte à de nouveaux flux de revenus grâce à la monétisation des données.

Analyse de données : les données doivent être analysées et interprétées. L'analytique transforme les données brutes en insights exploitables en découvrant des schémas types, des tendances et des corrélations. L'analytique en temps réel, qui consiste à collecter et analyser des données en streaming au fur et à mesure qu'elles sont générées, est souvent mobilisée dans les applications où la vitesse est essentielle. L'analytique en temps réel repose sur une capacité de base qui est celle du streaming des données.

IA et machine learning : il faut une architecture de données adaptée pour exploiter la puissance de l'IA et du machine learning, que les modèles ML soient utilisés pour obtenir des informations utiles ou développer des applications d'IA. L'architecture des données soutient l'infrastructure de l'IA en facilitant la circulation et l'analyse des données, et elle exerce un impact direct sur les résultats de l'IA et du machine learning.

Marketplace de données : une marketplace de données est une boutique en ligne où producteurs et consommateurs de données échangent des produits de données.

Les différents types d'architecture de données

Les entreprises choisissent un type d'architecture de données plutôt qu'un autre en fonction de leurs besoins et de leurs objectifs. Voici les types d'architecture les plus courants :

Architecture Lambda : l'architecture Lambda adopte une approche hybride des méthodes de traitement par batch et en streaming pour traiter des quantités considérables de données. Les architectures Lambda peuvent être très complexes. Les administrateurs doivent généralement gérer des bases de code distinctes pour la couche batch et la couche temps réel, ce qui peut compliquer le débogage.

Data mesh : le data mesh est un paradigme qui décrit un ensemble de principes et une architecture logique pour la croissance des plateformes d'analyse de données. Elle unifie les données provenant de différentes sources en centralisant la gouvernance et le partage pour améliorer l'accès et la sécurité.

Data warehouse : un data warehouse est un système de gestion de données qui stocke des données structurées dans un schéma prédéfini. Il héberge des données actuelles et historiques provenant de plusieurs sources et facilite leur interprétation et la création de rapports. Les data warehouses sont généralement utilisés à des fins de business intelligence (BI), de rapport et d'analyse de données.

Data lake : un data lake est un dépôt qui héberge les données dans leur format natif et brut. Il offre une option de stockage économique pour les grandes quantités de données provenant de sources diverses. Les data lakes permettent d'entreposer les données telles quelles, sans avoir à les structurer, puis de les soumettre à différentes analyses : tableaux de bord et visualisations, traitement de big data, analytique en temps réel et machine learning.

Data lakehouse: un data lakehouse est une architecture de gestion des données ouverte qui associe la souplesse, le faible coût et l'échelle des data lakes aux capacités de gestion des data warehouses. Avec les data lakehouses, les collaborateurs disposent toujours des données les plus complètes et les plus à jour pour tous leurs projets de data science, de machine learning et d'analytique commerciale, sans accéder à plusieurs systèmes.

Architecture en médaillon : une architecture en médaillon est un modèle de conception qui régit l'organisation logique des données dans un lakehouse. Son objectif : l'amélioration progressive et incrémentielle de la structure et de la qualité des données à chaque fois qu'elles traversent une couche de l'architecture.

Bonnes pratiques d'architecture des données

Le choix de l'architecture de données est un enjeu de poids pour une entreprise désireuse d'exploiter ses données et d'en extraire les insights indispensables à sa réussite. Les bonnes pratiques suivantes permettront d'obtenir les meilleurs résultats :

Alignement sur les objectifs commerciaux : l'architecture des données doit soutenir les ambitions à long terme et les objectifs commerciaux de l'entreprise.

Flexibilité et évolutivité : l'architecture des données doit s'adapter avec souplesse à l'évolution des besoins. Avec l'augmentation du volume de données, l'architecture doit pouvoir grandir pour fournir des informations en temps réel et prendre en charge les initiatives de machine learning et d'intelligence artificielle (IA).

Intégration de la gouvernance et de la sécurité : la gouvernance et la sécurité devraient être au cœur de la conception de l'architecture. L'architecture doit faciliter la gouvernance des données et l'intégration du machine learning et de l'IA aux plateformes de données.

Unification : une approche unifiée permet d'accomplir différentes tâches sur les mêmes données de façon transparente, tout en garantissant leur sécurité et leur gouvernance.

Socle ouvert : la dépendance vis-à-vis des fournisseurs et des outils propriétaires nuit à la démocratisation de l'accès et freine l'innovation. En facilitant l'intégration et le partage des données, une base ouverte permet de produire de meilleurs insights.

Démocratisation des données : l'architecture doit prévenir les goulets d'étranglement qui empêchent les équipes d'innover avec les données, tout en intégrant des politiques de gouvernance claires et rigoureuses.

L'architecture des données sur Databricks

La Databricks Data Intelligence Platform, qui repose sur l'architecture du lakehouse, offre une solution unifiée, sécurisée et encadrée pour les données et l'IA. Elle privilégie la fiabilité des performances et fournit des capacités d'IA centrées sur les données ainsi qu'un système serverless et économique d'entreposage des données, sans lier les utilisateurs à un fournisseur particulier.

L'architecture en lakehouse réunit le meilleur des data lakes et des data warehouses pour réduire les coûts et accélérer les initiatives de données et d'IA. Reposant sur des technologies open source et des standards ouverts, la plateforme élimine les silos, facteurs historiques de complexité pour les données et l'IA.

Dans le cadre de la Databricks Data Intelligence Platform, Unity Catalog offre un système de gouvernance unifiée pour les données et l'IA des lakehouses. Il fluidifie la collaboration, améliore la productivité et garantit la conformité des pratiques sur toutes les plateformes.

La Databricks Data Intelligence Platform répond aux défis multifacettes auxquels sont confrontées les entreprises aujourd'hui. En proposant une architecture axée sur la démocratisation des données autant que la sécurité, Databricks aide chaque membre de l'équipe à mettre le potentiel des données au service du succès de l'organisation.