Databricks Workflows

Orchestrazione unificata per dati, analitiche e AI sulla Data Intelligence Platform

Prova gratuita guarda la demo

Databricks Workflows è un servizio di orchestrazione gestito, pienamente integrato con la Databricks Data Intelligence Platform. Workflows consente di definire, gestire e monitorare facilmente flussi di lavoro multitasking per pipeline di ETL, analitiche e machine learning. Grazie a un'ampia gamma di tipologie di task supportati, funzioni di osservabilità approfondita e alta affidabilità, i team di gestione dei dati saranno in grado di automatizzare e orchestrare meglio qualsiasi pipeline e diventare più produttivi.

Come funziona?

Unificato con la Databricks Data Intelligence Platform

Affidabilità in produzione

Monitoraggio e osservabilità approfonditi

Batch e streaming

Calcolo efficiente

Esperienza utente fluida

Unificato con la Databricks Data Intelligence Platform

A differenza degli strumenti di orchestrazione esterni, Databricks Workflows è pienamente integrato con la Databricks Data Intelligence Platform. Questo significa che è possibile creare flussi di lavoro nativi nel proprio wrokspace e automatizzare qualsiasi funzionalità della piattaforma, incluse pipeline di Delta Live Table, notebook di Databricks e query di Databricks SQL. Unity Catalog automatizza la provenienza dei dati per ogni flusso di lavoro, assicurando all'utente il controllo su tutte le risorse di dati nell'intera l'organizzazione.

Affidabilità su larga scala

Ogni giorno migliaia di organizzazioni si affidano a Databricks Workflows per eseguire milioni di carichi di lavoro in produzione su AWS, Azure e GCP con un'operatività del 99,95%. Avere uno strumento di orchestrazione pienamente gestito integrato nella Data Intelligence Platform elimina la necessità di mantenere, aggiornare o riparare un altro strumento separato.

Monitoraggio e osservabilità approfonditi

Grazie alla piena integrazione con la Data Intelligence Platform, Databricks Workflows offre un'osservabilità migliore di qualsiasi altro strumento di orchestrazione esterno. Mantieni il controllo grazie alla vista completa di ogni flusso di lavoro eseguito e imposta le notifiche in caso di errori per avvisare il team via mail, Slack, PagerDuty o un webhook custom, per anticipare i problemi e risolverli prima che vadano a impattare sui consumatori di dati.

Batch e streaming

Databricks Workflows offre un'unica soluzione per orchestrare attività in qualsiasi scenario sulla Data Intelligence Platform. Utilizza un flusso di lavoro programmato per lavori ricorrenti che effettuano l'acquisizione di dati in batch a orari predefiniti, oppure implementa pipeline di dati in tempo reale eseguite in modo continuo. Si può inoltre impostare un flusso di lavoro affinché venga eseguito quando sono disponibili nuovi dati, utilizzando trigger di arrivo dei file.

Calcolo efficiente

L'orchestrazione con Databricks Workflows offre un migliore rapporto prezzo/prestazioni per i carichi di lavoro automatizzati in produzione. I costi possono essere ridotti sensibilmente utilizzando job cluster automatizzati che hanno un costo inferiore e funzionano solo quando un lavoro è programmato, evitando così di pagare per risorse inutilizzate. Inoltre, i job cluster condivisi consentono di riutilizzare le risorse di calcolo per molteplici attività, in modo da ottimizzare l'utilizzo delle risorse.

Esperienza utente fluida

Definisci i flussi di lavoro nel tuo ambiente preferito e crea facilmente flussi di lavoro direttamente nell'interfaccia utente dello spazio di lavoro di Databricks oppure utilizzando il tuo IDE preferito. Definisci attività che usano un notebook con controllo delle versioni in un Databricks Repo o in un repository Git remoto, e rispetta le best practice DevOps come CI/CD.