L'IA au service de la voiture connectée

Afin de créer de la valeur pour ses clients, Wejo ingère les données de streaming de 50 millions de véhicules connectés. Elle traite aussi les données des OEM et des systèmes de navigation par satellite toutes les trois secondes. Ces données sont autant d'indices permettant de fluidifier la circulation, réduire les accidents, émettre des alertes de sécurité, informer les services d'urgence et même innover pour optimiser le stationnement. Tous ces flux de données proviennent de sources disparates : en extraire les insights grâce à la data science est un véritable défi et consomme énormément de ressources.

• Des volumes de données considérables : l'entreprise traite près de 3 000 milliards de points de données par mois, streamés en continu des véhicules à la marketplace en moins de 40 secondes. Il faut donc un environnement combinant faible latence et grande capacité.

• Des défis à grande échelle : pour ingérer cette quantité massive de données, Wejo s'est appuyée sur des clusters Mapreduce, aux dimensions rigides et souffrant de limites quant aux librairies disponibles. Il fallait attendre des jours que les modules Python nécessaires soient installés – un véritable frein pour l'innovation.

• Lenteurs et délais : les tâches les plus longues demandaient parfois des heures, voire des jours, de traitement.

Databricks fournit à Wejo une plateforme d'analyse de données unifiée qui facilite la mise en place d'un environnement collaboratif et évolutif entre les équipes de data science et de data engineering. Cela permet aux équipes chargées des données de fournir plus rapidement à l'industrie automobile des innovations optimisées par le machine learning.

• La plateforme gérée dans le cloud simplifie le provisionnement des clusters de calcul de toute taille.

• La diversité des langages pris en charge (SQL, Scala, Python, R) améliore la collaboration entre data engineering, data science et analystes.

• La prise en charge native de Delta Lake permet à l'équipe de data engineering d'exécuter et de dimensionner efficacement les pipelines en streaming et par lots sur les mêmes données.

Avec Databricks, Wejo est maintenant en mesure de traiter les données à grande échelle et d'exploiter le machine learning plus rapidement qu'avant, tout en réduisant ses coûts. Mais, surtout, l'entreprise dispose désormais d'un moyen simple de partager les résultats au sein des équipes et de l'organisation, et permet à d'autres d'amener l'innovation sur le marché.

• Gain d'efficacité opérationnelle : des fonctionnalités telles que l'évolutivité automatique des clusters ont permis d'améliorer les opérations de data engineering. Les pipelines d'analytique en aval, notamment, sont passés de plusieurs semaines à quelques minutes.

• Une collaboration plus fluide entre les équipes : la productivité de l'équipe a beaucoup profité de l'environnement de notebooks partagés qui prend en charge différents langages.

• Délai d’analyse réduit : avec Databricks, nous enregistrons aujourd'hui des performances plus de 20 fois supérieures à celles de Spark, un outil open source. Quant au délai de commercialisation, il a été réduit de 90 %.