Databricks Workflows

Einheitliche Orchestrierung für Daten, Analytics und KI auf der Data Intelligence Platform

Kostenlos testen Demo ansehen

Databricks Workflows ist ein verwalteter Orchestrierungsdienst, der vollständig in die Databricks Data Intelligence Platform integriert ist. Mit Workflows können Sie Arbeitsabläufe mit mehreren Aufgaben für ETL-, Analytics- und ML-Pipelines einfach definieren, verwalten und überwachen. Mit einer breiten Palette unterstützter Tasktypen, umfassenden Beobachtbarkeitsfunktionen und hoher Zuverlässigkeit sind Ihre Datenteams in der Lage, jede Pipeline besser zu automatisieren und zu orchestrieren sowie produktiver zu werden.

Wie funktioniert es?

Voll integriert auf der Databricks Data Intelligence Platform

Zuverlässigkeit bei der Produktion

Detailgenaue Überwachung und Beobachtbarkeit

Batch und Streaming

Effizientes Compute

Nahtlose User Experience

Voll integriert auf der Databricks Data Intelligence Platform

Im Gegensatz zu externen Orchestrierungstools ist Databricks Workflows vollständig in die Databricks Data Intelligence Platform integriert. Das bedeutet, dass man natives Workflow-Authoring in seinem Workspace erhält und die Möglichkeit hat, alle Plattformfunktionen zu automatisieren, einschließlich Delta Live Table-Pipelines, Databricks-Notebooks und Databricks SQL-Abfragen. Mit Unity Catalog erhalten Sie eine automatisierte Datenherkunftsbestimmung für jeden Workflow, sodass Sie die Kontrolle über alle Ihre Datenbestände im gesamten Unternehmen behalten.

Umfassende Zuverlässigkeit

Täglich vertrauen Tausende von Unternehmen auf Databricks Workflows, um Millionen von Produktions-Workloads über AWS, Azure und GCP mit einer Verfügbarkeit von 99,95 % auszuführen. Wenn man über ein vollständig verwaltetes Orchestrierungstool verfügt, das in die Data Intelligence Platform integriert ist, muss man kein weiteres separates Tool für die Orchestrierung warten, aktualisieren oder darin Fehler beheben.

Detailgenaue Überwachung und Beobachtbarkeit

Die vollständige Integration in die Data Intelligence Platform bedeutet, dass Databricks Workflows Ihnen eine bessere Beobachtbarkeit bietet als jedes externe Orchestrierungstool. Behalten Sie die Kontrolle, indem Sie einen vollständigen Überblick über jeden ausgeführten Workflow erhalten und Benachrichtigungen für Fehler einrichten, um Ihr Team per E-Mail, Slack, PagerDuty oder einem benutzerdefinierten Webhook zu benachrichtigen, damit Sie Problemen schnell zuvorkommen und Fehler beheben können, bevor Datenkonsumenten beeinträchtigt werden.

Batch und Streaming

Databricks Workflows bietet Ihnen eine einzige Lösung zur Orchestrierung von Aufgaben in jedem Szenario auf der Data Intelligence Platform. Verwenden Sie eine geplante Workflow-Ausführung für wiederkehrende Jobs, die eine Batch-Erfassung zu voreingestellten Zeiten durchführen, oder implementieren Sie Echtzeit-Datenpipelines, die kontinuierlich ausgeführt werden. Sie können mithilfe von Triggern bei Dateieingang auch die Ausführung eines Workflows für den Fall festlegen, dass neue Daten verfügbar werden.

Effizientes Compute

Durch die Orchestrierung mit Databricks Workflows erhalten Sie ein besseres Preis-Leistungs-Verhältnis für Ihre automatisierten Produktions-Workloads. Erzielen Sie erhebliche Kosteneinsparungen, wenn Sie automatisierte Job-Cluster nutzen, die geringere Kosten verursachen und nur dann ausgeführt werden, wenn ein Job geplant ist, sodass Sie nicht für ungenutzte Ressourcen bezahlen müssen. Darüber hinaus können Sie mit gemeinsam genutzten Job-Clustern Compute-Ressourcen für mehrere Aufgaben wiederverwenden und so die Ressourcennutzung optimieren.

Nahtlose User Experience

Definieren Sie Workflows in Ihrer bevorzugten Umgebung – erstellen Sie Workflows ganz einfach direkt in der Databricks Workspace-Benutzeroberfläche oder mit Ihrer bevorzugten IDE. Definieren Sie Aufgaben, die ein versionskontrolliertes Notebook in einem Databricks-Repository oder in einem Remote-Git-Repository verwenden, und halten Sie sich an bewährte DevOps-Methoden wie CI/CD.