Databricks Workflows è un servizio di orchestrazione gestito, pienamente integrato con la Databricks Lakehouse Platform. Workflows consente di definire, gestire e monitorare facilmente flussi di lavoro multitasking per pipeline di ETL, analisi e machine learning. Grazie a un'ampia gamma di tipologie di task supportati, funzioni di osservabilità approfondita e alta affidabilità, i team di gestione dei dati saranno in grado di automatizzare e orchestrare meglio qualsiasi pipeline e diventare più produttivi.
Creazione semplice di flussi di lavoro
Data engineer, data analyst e data scientist possono facilmente definire flussi di lavoro con pochi clic o utilizzare il proprio IDE preferito.
Informazioni fruibili
Piena visibilità su ogni task eseguito in ogni flusso di lavoro e notifiche immediate in caso di problemi che richiedono una soluzione.
Affidabilità comprovata
Un servizio di orchestrazione pienamente gestito offre la certezza che i flussi di lavoro in produzione siano operativi e funzionanti. Con una disponibilità (uptime) del 99,95%, Databricks Workflows gode della fiducia di migliaia di organizzazioni.
Come funziona?
Unificata con la Databricks Lakehouse Platform
Affidabilità in produzione
Monitoraggio e osservabilità approfonditi
Batch e streaming
Calcolo efficiente
Esperienza utente fluida
Unificata con la Databricks Lakehouse Platform
A differenza degli strumenti di orchestrazione esterni, Databricks Workflows è pienamente integrato con la Databricks Lakehouse Platform. Questo significa che è possibile creare flussi di lavoro nativi all'interno del proprio spazio di lavoro e automatizzare qualsiasi funzionalità del lakehouse, incluse pipeline di Delta Live Table, notebook di Databricks e query di Databricks SQL. Unity Catalog offre provenienza dei dati automatizzata per ogni flusso di lavoro, assicurando all'utente il controllo su tutte le risorse di dati nell'intera l'organizzazione.
Affidabilità su larga scala
Ogni giorno migliaia di organizzazioni si affidano a Databricks Workflows per eseguire milioni di carichi di lavoro in produzione su AWS, Azure e GCP con un'operatività del 99,95%. Grazie a uno strumento di orchestrazione pienamente gestito integrato nella Databricks Lakehouse, non è più necessario mantenere, aggiornare o riparare un altro strumento separato per l'orchestrazione.
Monitoraggio e osservabilità approfonditi
Grazie alla piena integrazione con la Lakehouse Platform, Databricks Workflows offre un'osservabilità migliore di qualsiasi altro strumento di orchestrazione esterno. Mantieni il controllo grazie alla vista completa di ogni flusso di lavoro eseguito e imposta le notifiche in caso di errori per avvisare il team via mail, Slack, PagerDuty o un webhook custom, per anticipare i problemi e risolverli prima che vadano a impattare sui consumatori di dati.
Batch e streaming
Databricks Workflows offre una soluzione unica per orchestrare attività in qualsiasi scenario sul Lakehouse. Utilizza un flusso di lavoro programmato per lavori ricorrenti che effettuano l'acquisizione di dati in batch a orari predefiniti, oppure implementa pipeline di dati in tempo reale che sono eseguiti in modo continuo. Si può inoltre impostare un flusso di lavoro affinché venga eseguito quando sono disponibili nuovi dati, utilizzando trigger di arrivo dei file.
Calcolo efficiente
L'orchestrazione con Databricks Workflows offre un migliore rapporto prezzo/prestazioni per i carichi di lavoro automatizzati in produzione. I costi possono essere ridotti sensibilmente utilizzando job cluster automatizzati che hanno un costo inferiore e funzionano solo quando un lavoro è programmato, evitando così di pagare per risorse inutilizzate. Inoltre, i job cluster condivisi consentono di riutilizzare le risorse di calcolo per molteplici attività, in modo da ottimizzare l'utilizzo delle risorse.
Esperienza utente fluida
Definisci i flussi di lavoro nel tuo ambiente preferito e crea facilmente flussi di lavoro direttamente nell'interfaccia utente dello spazio di lavoro di Databricks oppure utilizzando il tuo IDE preferito. Definisci attività che usano un notebook con controllo delle versioni in un Databricks Repo o in un repository Git remoto, e rispetta le best practice DevOps come CI/CD.
Integrazioni
Databricks Workflows si integra direttamente con i principali partner di settore per offrire la flessibilità necessaria a definire flussi di lavoro che soddisfino le esigenze della tua azienda con la soluzione di gestione dei dati prescelta
Domande frequenti
Il termine "orchestrazione" riferito a dati, analisi e AI, indica l'automazione, l'implementazione e la gestione di flussi di lavoro come pipeline di dati ETL e addestramento di modelli di machine learning. L'orchestrazione è una parte importante delle attività operative sui dati ed è essenziale per portare soluzioni di gestione dei dati in produzione. L'orchestrazione comporta la gestione delle dipendenze fra attività del flusso di lavoro e pianificazione per l'esecuzione di tali attività. L'orchestrazione comprende anche l'allocazione delle risorse di calcolo e il monitoraggio dei flussi di lavoro.
