Mettre la santé des patients au premier plan avec les données et l'IA
Amélioration dans le traitement des données
Des millions d'enregistrements importés en 20 minutes
En tant qu'administrateur du National Health Services Directory (NHSD), Healthdirect exploite des téraoctets de données – les transactions de santé horodatées basées sur l'activité – afin d'améliorer les services, les offres de soin et la relation client. Confrontée aux exigences de gouvernance, au cloisonnement des équipes et à un système hérité difficile à faire évoluer, l'équipe a choisi Databricks. Elle a ainsi accéléré le traitement des données pour le machine learning en aval tout en améliorant leur sécurité, afin de répondre aux exigences HIPAA.
Qualité et gouvernance des données, silos et impossibilité d'évolution
Pour répondre aux pressions réglementaires, Healthdirect Australia a entrepris d'améliorer la qualité globale des données et de mettre en place un niveau de gouvernance supérieur. Mais l'entreprise a rapidement rencontré des défis en matière de stockage et d’accès aux données. Plusieurs silos de données faisaient également obstacle à la préparation efficace des données en vue d'analytique en aval. Ces sources de données disparates affectaient la cohérence des lectures en raison de désynchronisations fréquentes entre les différents systèmes de la pile technologique. La faible qualité des données était responsable de taux d'erreurs élevés et du manque d'efficacité du traitement. Cette architecture fragmentée engendrait des frais opérationnels importants et empêchait d'obtenir une vue complète du patient.
Il fallait en outre importer plus d'un milliard de points de données, du fait de l’évolution du paysage de la demande des clients : réservations, rendez-vous, prix, activité de transaction de santé connectée, etc. – soit plus de 1 To de données.
« Nous avions beaucoup de difficultés avec les données. Nous n'arrivions pas à les traiter avec suffisamment d'efficacité. Nous prenions du retard sur les lots. Il devenait clair qu’un délai de 24 heures n’était pas optimal pour pouvoir fournir des données et des services de santé », explique Peter James, architecte en chef de Health Direct Australia.
Healthdirect a compris qu'il fallait moderniser l'intégralité de son processus et de sa pile technologique pour soutenir correctement son activité.
Moderniser l’analytique avec Databricks et Delta Lake
Databricks fournit à Healthdirect Australia une plateforme d’analytique de données unifiée qui simplifie le data engineering et accélère l’innovation en data science. L’environnement de notebook permet d’apporter des modifications au contenu de manière contrôlée, sans avoir à exécuter des tâches sur mesure à chaque fois.
« Databricks a été un véritable moteur pour nos équipes et nos opérations de données », affirme Peter James. « Les analystes travaillent directement avec les équipes des opérations de données. Ils accomplissent les mêmes tâches, ensemble, dans des délais deux fois plus courts qu'auparavant. Parallèlement à cette nouvelle collaboration, nous constatons une accélération massive de notre capacité à fournir un service. »
Avec Delta Lake, l'équipe a créé des zones de données logiques : arrivée, brute, préparation et or. Dans ces différentes zones, l'équipe stocke ses données « telles quelles », structurées ou non, dans des tables du Delta Lake. Elle applique ensuite un schéma de métadonnées et conserve les données dans une structure imbriquée au sein de la table. Grâce à cette approche, elle peut traiter uniformément les données provenant de toutes les sources. Cela simplifie également le mapping de données aux différentes applications qui les exploitent.
Dans le même temps, grâce à Structured Streaming, l'équipe a converti toutes ses tâches ETL groupées en tâches ETL de flux capables de desservir plusieurs applications de façon homogène. Globalement, l'introduction de Spark Structured Streaming, de Delta Lake et de la plateforme d'analytique unifiée de Databricks apporte des améliorations essentielles à l'architecture, qui se traduisent par une hausse des performances, une réduction des frais et des processus plus efficaces.
Des pipelines de données plus rapides pour des soins de santé de meilleure qualité axés sur le patient
Les gains de performance obtenus avec Databricks et l'amélioration de la fiabilité des données acquise grâce à Delta Lake ont porté leurs fruits : l'algorithme de correspondance approximative de noms de Healthdirect Australia, qui affichait une précision inférieure à 80 % avec vérification manuelle, atteint désormais 95 % de précision sans aucune intervention.
L'amélioration des performances du traitement, obtenue grâce à Delta Lake et à Structured Streaming, permet à l'entreprise de traiter plus de 30 000 mise à jour automatisées par mois. Avant Databricks, il fallait s'appuyer sur des tâches groupées peu fiables et impliquant un effort manuel important pour traiter en six mois le même nombre de mises à jour – le temps le traitement des données a donc été divisé par six.
L'équipe a également atteint un taux de chargement des données d'un million d'enregistrements par minute : il faut en effet 20 minutes pour charger ses 20 millions d'enregistrements. Avant l'adoption de Databricks, il fallait plus de 24 heures pour traiter un million de transactions. Pour les analystes, il était donc impossible de prendre des décisions rapides pour obtenir des résultats.
Dernier point : la sécurité des données, essentielle au vu des exigences de conformité, a été considérablement renforcée. Databricks fournit des accréditations de sécurité standard, parmi lesquelles HIPAA. Healthdirect a pu utiliser Databricks pour répondre aux exigences de sécurité australiennes. Cela a considérablement réduit les coûts de l'entreprise, tout en fournissant un mécanisme continu de data assurance, car tout est surveillé et tracé : les modifications apportées aux privilèges d’accès comme les changements de rôles, les modifications de sécurité au niveau des métadonnées, les fuites de données, etc.
« Databricks nous a fourni l'analytique, de courts délais de mise sur le marché et le coup de pouce opérationnel dont nous avions besoin pour répondre aux nouvelles exigences du secteur de la santé. », explique James.
Un avenir radieux se profile à l'horizon pour Healthdirect Australia. Avec l’aide de Databricks, l'entreprise a prouvé la valeur des données et de l’analytique, tout en démontrant leur impact sur sa vision commerciale. L'accès transparent aux données, assorti d'une traçabilité et d'une qualité bien documentées, a considérablement démocratisé leur utilisation par différents groupes commerciaux et d'analystes. Les équipes extraient plus facilement et plus rapidement de la valeur des données, pour améliorer la santé de tous.
