L'IA au service de la voiture connectée
plus rapide pour l'extraction d'insights grâce à l'amélioration des opérations IT
plus rapide pour le traitement des données des véhicules et de la route
Une mise sur le marché plus rapide des innovations
« Avant Databricks, le délai de mise sur le marché aurait pris des semaines, voire des mois, pour répondre aux exigences d’analyse de certains de nos clients. Aujourd'hui, nous le comptons en heures. »
Wejo a été fondée avec l'ambition de devenir la première entreprise spécialisée dans les voitures connectées au monde. À ce jour, Wejo a traité plus de 225 milliards de kilomètres de données et prévoit de compter 17 millions de voitures sur sa plateforme d’ici la fin de l’année. L'entreprise génère plus de 15 milliards de points de données chaque jour et s'appuie sur Databricks pour apporter à l’industrie automobile des innovations basées sur le ML et offrir de meilleures expériences de conduite.
Des pipelines élargis pour ingérer 3 000 milliards de points de données chaque mois
Afin de créer de la valeur pour ses clients, Wejo ingère les données de streaming de 50 millions de véhicules connectés. Elle traite aussi les données des OEM et des systèmes de navigation par satellite toutes les trois secondes. Ces données sont autant d'indices permettant de fluidifier la circulation, réduire les accidents, émettre des alertes de sécurité, informer les services d'urgence et même innover pour optimiser le stationnement. Tous ces flux de données proviennent de sources disparates : en extraire les insights grâce à la data science est un véritable défi et consomme énormément de ressources.
Des volumes de données considérables : l'entreprise traite près de 3 000 milliards de points de données par mois, streamés en continu des véhicules à la marketplace en moins de 40 secondes. Il faut donc un environnement combinant faible latence et grande capacité.
Des défis à grande échelle : pour ingérer cette quantité massive de données, Wejo s'est appuyée sur des clusters Mapreduce, aux dimensions rigides et souffrant de limites quant aux librairies disponibles. Il fallait attendre des jours que les modules Python nécessaires soient installés – un véritable frein pour l'innovation.
Lenteurs et délais : les tâches les plus longues demandaient parfois des heures, voire des jours, de traitement.
Pipelines de données fiables et performants à grande échelle avec Delta Lake
Databricks fournit à Wejo une plateforme d'analyse de données unifiée qui facilite la mise en place d'un environnement collaboratif et évolutif entre les équipes de data science et de data engineering. Cela permet aux équipes chargées des données de fournir plus rapidement à l'industrie automobile des innovations optimisées par le machine learning.
La plateforme gérée dans le cloud simplifie le provisionnement des clusters de calcul de toute taille.
La diversité des langages pris en charge (SQL, Scala, Python, R) améliore la collaboration entre data engineering, data science et analystes.
La prise en charge native de Delta Lake permet à l'équipe de data engineering d'exécuter et de dimensionner efficacement les pipelines en streaming et par lots sur les mêmes données.
Des routes plus sûres grâce aux innovations basées sur le ML
Avec Databricks, Wejo est maintenant en mesure de traiter les données à grande échelle et d'exploiter le machine learning plus rapidement qu'avant, tout en réduisant ses coûts. Mais, surtout, l'entreprise dispose désormais d'un moyen simple de partager les résultats au sein des équipes et de l'organisation, et permet à d'autres d'amener l'innovation sur le marché.
Gain d'efficacité opérationnelle : des fonctionnalités telles que l'évolutivité automatique des clusters ont permis d'améliorer les opérations de data engineering. Les pipelines d'analytique en aval, notamment, sont passés de plusieurs semaines à quelques minutes.
Une collaboration plus fluide entre les équipes : la productivité de l'équipe a beaucoup profité de l'environnement de notebooks partagés qui prend en charge différents langages.
Délai d’analyse réduit : avec Databricks, nous enregistrons aujourd'hui des performances plus de 20 fois supérieures à celles de Spark, un outil open source. Quant au délai de commercialisation, il a été réduit de 90 %.
