Élargir l'accès à l'économie
Block redéfinit les services financiers avec Databricks
Réduction des coûts de calcul
Réduction des coûts de transfert de données
de données gérées et gouvernées
« Unity Catalog réduit les autorisations à leurs plus simples éléments en supprimant la complexité induite par les politiques IAM et autres plateformes de contrôle des données. Cela nous permet de nous concentrer sur ce qui est important pour notre cas d'usage métier. »
Block est une entreprise technologique mondiale qui défend l'accessibilité des services financiers, en accordant la priorité à l'autonomisation économique. Ses filiales, dont Square, Cash App, Spiral, TBD et TIDAL, ont pour mission d'élargir l'accès à l'économie. En utilisant le machine learning (ML) et l'intelligence artificielle (IA), Block détecte et prévient les fraudes de manière proactive, garantissant ainsi la sécurité des transactions des clients. De plus, Block améliore l'expérience des utilisateurs en fournissant des recommandations personnalisées, en utilisant la résolution d'identité pour obtenir une compréhension complète des activités des clients à travers leurs divers services. En interne, Block optimise les opérations grâce à l'automatisation et à l'analytique prédictive, ce qui favorise l'efficacité de la fourniture de services financiers. Pour renforcer ses capacités, Block a recours à la plateforme Databricks Data Intelligence Platform, pour consolider et rationaliser ses charges de travail liées aux données, à l'IA et à l'analytique. Il s'agit d'un choix stratégique qui positionne Block en vue des prochaines innovations reposant sur l'automatisation. Ce choix consolide aussi sa place de pionnier des services financiers basés sur l'IA, en facilitant l'accès inclusif aux opportunités financières pour la croissance économique.
La gestion du volume et des silos de données freinait l'innovation
Dans le cadre de sa stratégie de gestion des données visant à réduire les délais de commercialisation, Block s'est lancé dans une migration active du traitement de ses données vers le cloud. L'un des principaux obstacles auxquels les équipes ont été confrontées était la gestion efficace d'un grand volume de données cruciales pour les cas d'usage liés aux graphes. Il s'agissait notamment de gérer des bases de données graphiques, de tirer parti de divers outils de machine learning et d'optimiser les performances pour les pétaoctets de données. En outre, se posaient des problèmes d'inefficacité opérationnelle et d'évolutivité en raison de la nature fragmentée des données dans les différentes unités opérationnelles. Pour ne rien arranger, la lourdeur des transferts de données entre ces systèmes, combinée à la nature cloisonnée des politiques de gouvernance, posaient des problèmes d'audit et d'application des politiques.
C'est pour relever ces défis et accélérer l'analyse des graphes, en particulier en mode OLAP (Online Analytical Processing), que Block a choisi de migrer vers Spark et a sélectionné Databricks comme lakehouse. Cette décision a permis à l'entreprise de consolider toutes les charges de travail liées aux données et à l'IA sur une plateforme unifiée, permettant aux data scientists, data engineers et professionnels de l'IA d'exploiter efficacement les données à partir d'un emplacement centralisé.
Comme l'explique Joseph Kesting, ingénieur logiciel chez Block, « L'adoption de Databricks comme plateforme centralisée pour le stockage et le partage de données entre les départements a facilité la création d'une marketplace de données florissante. Cette configuration unique permet à chaque entité d'exercer ses propres contrôles, tout en bénéficiant des ressources du conglomérat, ce qui lui donne accès à divers ensembles de données provenant de différentes unités. »
Block gère actuellement 2 Po de données sur Databricks Data Intelligence Platform et prévoit d'atteindre 4 Po d'ici la fin de l'année. Environ 70 équipes différentes issues de diverses entités, telles que TIDAL, Cash App, Square et TBD, ainsi que 300 utilisateurs expérimentés utilisent activement la plateforme.
La gouvernance unifiée accélère la collaboration
Pour Block, l'une des exigences essentielles était la bonne mise en place des politiques de gouvernance des données ainsi que leur uniformité. Ces politiques devaient garantir la conformité avec les lois sur la protection des données personnelles telles que le RGPD et le CCPA, aussi bien pour les clients que pour les équipes internes. L'objectif était d'offrir un accès sécurisé et conforme aux données personnelles sensibles. Pour relever ces défis et assurer une gouvernance centralisée, Block a opté pour Unity Catalog.
Selon M. Kesting, « La migration vers Databricks a coïncidé avec le lancement d'Unity Catalog. Il n'a donc plus été nécessaire d'évaluer d'autres outils de gouvernance des données. Notre choix s'est porté sur Unity Catalog principalement en raison de la facilité d'intégration avec Databricks. »
La solution Unity Catalog a permis à Block d'obtenir une vue unifiée de son patrimoine de données dans les différents départements de l'entreprise, ce qui a simplifié la gestion des autorisations d'accès. Elle leur a également offert la flexibilité nécessaire pour répartir les coûts entre les équipes, en leur permettant d'assigner des emplacements de stockage pour leurs catalogues et leurs schémas. Cette approche a permis aux différentes entités de conserver leurs politiques de gouvernance des données distribuées, tout en garantissant un processus rationalisé.
« La solution Unity Catalog a joué un rôle central en facilitant l'accès sécurisé et contrôlé aux données sensibles pour divers départements. Elle a permis de restreindre l'accès aux données via un espace de travail dédié, assurant ainsi la conformité avec les conditions de service initiales pour la collecte des données. Cette conformité a été appliquée non seulement aux entités ayant collecté les données, mais aussi aux départements qui y ont accédé », explique M. Kesting. Block prévoit d'améliorer cette capacité en intégrant à Unity Catalog une solution de salle blanche utilisant Delta Sharing. Cette solution offrira aux départements et à l'écosystème de partenaires une collaboration sécurisée et respectueuse de la vie privée.
Block a également l'intention de tirer parti du data lineage pour se conformer aux scénarios de droit à l'oubli. Il s'agit de suivre l'utilisation des données sensibles dans l'ensemble de l'écosystème de la blockchain, en veillant au respect des réglementations en matière de protection de la vie privée.
Dégager de la valeur commerciale grâce à la réduction des coûts et à l'efficacité
Passer des cas d'usage de graphes à Databricks a changé la donne pour Block : cela a considérablement amélioré les performances de calcul et l'optimisation des coûts. Grâce à Databricks, Block a réussi à réduire jusqu'à 12 fois les coûts de calcul, tout en débloquant des cas d'usage jusqu'alors inaccessibles en raison des limitations liées à la mise à l'échelle. Selon Kesting, « l'élimination de ces contraintes avec Databricks a ouvert de nouvelles possibilités d'innovation et d'analyse ».
La mise en œuvre de la solution Unity Catalog au sein de l'écosystème de données de Block a apporté des bénéfices considérables. Cela a facilité la création d'une « marketplace » dynamique pour l'échange de données entre les différents départements, favorisant ainsi la collaboration et le partage des connaissances. Cela a joué un rôle crucial en réduisant de 20 % les coûts de sortie des données liés au transfert de données entre les fournisseurs de services cloud.
De plus, grâce à Unity Catalog, Block peut gérer plus facilement les politiques IAM. Auparavant, il fallait suivre un processus d'approbation complexe en deux étapes, qui impliquait de lier des politiques IAM à des rôles, puis à des compartiments S3. Cela entraînait souvent des limitations de la politique des compartiments et nécessitait de revoir les autorisations. Cependant, avec Unity Catalog, ce processus a été rationalisé, les autorisations d'accès au niveau des sous-groupes ayant été configurées en un seul endroit. Le partage des données s'est considérablement amélioré sur le plan opérationnel, le délai étant passé de plusieurs jours à quelques secondes. D'autre part, l'adoption d'Unity Catalog a favorisé la collecte de données dans des compartiments S3, ce qui a permis d'améliorer la latence et la colocation du calcul et du stockage.
Qui plus est, Unity Catalog a permis à Block d'attribuer plus facilement la propriété des données et de décentraliser la prise de décision. Il est désormais possible d'associer les jeux de données à leurs propriétaires respectifs. Ces derniers peuvent ainsi déterminer comment les données sont partagées. Le passage d'une équipe centralisée imposant la gouvernance des données à de véritables propriétaires prenant des décisions a permis d'améliorer la conformité et les rapports d'audit, renforçant ainsi la gouvernance et la responsabilité globales en matière de données.
À l'avenir, l'accent sera mis sur l'exploitation de l'IA générative et des LLM dans la stratégie globale de Block en matière de données et d'IA. De plus, Unity Catalog jouera un rôle important dans la mise en œuvre de cette stratégie avec la capacité de gérer les modèles de ML ainsi que les données à partir d'un seul endroit. Cela accélérera les initiatives d'IA et d'analytique.
