Databricks Workflows

Orchestration unifiée des données, de l'analytique et de l'IA sur la Data Intelligence Platform

Databricks Workflows est un service d'orchestration managé entièrement intégré à la Databricks Data Intelligence Platform. Workflows vous permet de définir, gérer et superviser en toute simplicité des workflows multitâche pour vos pipelines ETL, d'analytique et de machine learning. Il prend en charge un large éventail de types de tâches, permet une observabilité approfondie et affiche une grande fiabilité. Avec ce service, vos équipes sont en mesure de mieux automatiser et orchestrer tout type de pipeline pour gagner en productivité.

Simple Authoring

Whether you’re a data engineer, a data analyst or a data scientist, easily define workflows with just a few clicks or use your favorite IDE.

Actionable Insights

Get full visibility into each task running in every workflow and get notified immediately on issues that require troubleshooting.

Proven Reliability

Having a fully managed orchestration service means having the peace of mind that your production workflows are up and running. With 99.95% uptime, Databricks Workflows is trusted by thousands of organizations.

Comment ça marche ?

Unification avec la Databricks Data Intelligence Platform

Fiabilité en production

Supervision et observabilité approfondies

Batch et streaming

Efficacité du calcul

Expérience utilisateur sans couture

Unification avec la Databricks Data Intelligence Platform

Contrairement aux outils d'orchestration externes, Databricks Workflows est entièrement intégré à la Databricks Data Intelligence Platform. La création des workflows est nativement incorporée à votre espace de travail et vous pouvez automatiser toutes les capacités de la plateforme : pipelines Delta Live Tables, notebooks Databricks et requêtes Databricks SQL. Et avec le Unity Catalog, le data lineage de chaque workflow est automatiquement établi. Vous gardez ainsi un contrôle total sur vos assets de données, à l'échelle de toute l'organisation.

Fiabilité à grande échelle

Chaque jour, des milliers d'organisations confient à Databricks Workflows l'exécution de millions de charges de travail en production sur AWS, Azure et GCP avec un taux de disponibilité de 99,95 %. Avec un outil d'orchestration entièrement managé intégré à la Data Intelligence Platform, vous n'avez rien d'autre à maintenir, à tenir à jour ou à dépanner.

Supervision et observabilité approfondies

En raison de son intégration complète à la Data Intelligence Platform, Databricks Workflows vous offre une observabilité plus détaillée que n'importe quel outil d'orchestration externe. Gardez le contrôle grâce à une vue complète sur chaque exécution de workflow. Configurez des notifications pour être averti en cas d'erreur par e-mail, Slack, PagerDuty ou autre webhook personnalisé. Et gardez une longueur d'avance sur les problèmes : corrigez-les avant qu'ils n'affectent les consommateurs des données.

Batch et streaming

Databricks Workflows offre une solution unique pour orchestrer les tâches de tous les scénarios sur la Data Intelligence Platform. Utilisez un workflow planifié pour les tâches récurrentes en important des données par batch à heures fixes, ou implémentez des pipeline de données en temps réel qui s'exécutent en continu. Vous pouvez également configurer un workflow pour qu'il se lance lorsque de nouvelles données sont disponibles, grâce aux déclencheurs d'arrivée de fichiers.

Efficacité du calcul

En choisissant Databricks Workflows pour l'orchestration, vous bénéficiez d'un meilleur rapport performance/prix pour vos charges de travail automatisées en production. Réalisez d'importantes économies en utilisant les clusters de tâches automatisés. Ils ont un coût plus faible et ne s'exécutent que lorsqu'une tâche est planifiée pour vous éviter de payer des ressources inutilisées. Qui plus est, les clusters de tâches partagés permettent de réutiliser les ressources de calcul pour plusieurs tâches afin d'optimiser votre consommation.

Expérience utilisateur sans couture

Définissez les workflows dans votre environnement préféré : directement dans l'interface de l'espace de travail Databricks ou dans votre IDE habituel. Créez des tâches reposant sur un notebook à contrôle de version dans un dépôt Databricks ou un dépôt Git distant, et appliquez les bonnes pratiques DevOps comme le CI/CD.