Spark Streaming - Avancé

La plateforme Lakehouse de Databricks simplifie considérablement le streaming de données pour fournir des analyses en temps réel, de l'apprentissage automatique et des applications sur une seule plateforme. Dans cette démo, nous présenterons comment le Lakehouse de Databricks offre des capacités de streaming pour ingérer et analyser les données de flux de clics (généralement à partir de files d'attente de messages comme Kafka).

La sessionisation est le processus de recherche de sessions utilisateur limitées dans le temps à partir d'un flux d'événements, regroupant tous les événements se produisant à peu près au même moment (par exemple, nombre de clics, pages les plus consultées, etc.)

Comprendre les sessions est essentiel pour de nombreux cas d'utilisation :

• Détectez l'abandon de panier dans votre boutique en ligne, et déclenchez automatiquement des actions marketing en suivi pour augmenter vos ventes
• Construisez de meilleurs modèles d'attribution pour votre affiliation, basés sur les actions de l'utilisateur lors de chaque session
• Comprenez le parcours de l'utilisateur sur votre site web et fournissez une meilleure expérience pour augmenter votre taux de rétention des utilisateurs.

Dans cette démo, nous allons :

• Ingérer des données de Kafka
• Enregistrez les données sous forme de tables Delta, garantissant la qualité et la performance à grande échelle
• Calculez les sessions utilisateurs en fonction de l'activité

 

Pour installer la démo, obtenez un espace de travail Databricks gratuit et exécutez les deux commandes suivantes dans un carnet Python

Dbdemos est une bibliothèque Python qui installe des démonstrations Databricks complètes dans vos espaces de travail. Dbemos chargera et démarrera des carnets de notes, des pipelines DLT, des clusters, des tableaux de bord Databricks SQL, des modèles d'entrepôt ... Voir comment utiliser dbdemos

 

Dbdemos est distribué en tant que projet GitHub.

Pour plus de détails, veuillez consulter le fichier GitHub README.md et suivre la documentation.
Dbdemos est fourni en l'état. Voir la Licence et Notice pour plus d'informations.
Databricks n'offre pas de support officiel pour dbdemos et les ressources associées.
Pour tout problème, veuillez ouvrir un ticket et l'équipe de démonstration y jettera un œil sur une base de meilleurs efforts.