Fluxos de trabalho da Databricks

Orquestração unificada de dados, análises e IA na Data Intelligence Platform

Experimente gratuitamente Assista à demonstração

O Databricks Workflows é um serviço de orquestração gerenciado, totalmente integrado à Databricks Data Intelligence Platform. O Workflows permite definir, gerenciar e monitorar facilmente fluxos de trabalho multitarefa para ETL, análises e pipelines de machine learning. Com uma ampla variedade de tipos de tarefas compatíveis, recursos de observabilidade detalhada e alta confiabilidade, suas equipes de dados podem automatizar e orquestrar melhor qualquer pipeline e aumentar a produtividade.

Simple Authoring

Whether you’re a data engineer, a data analyst or a data scientist, easily define workflows with just a few clicks or use your favorite IDE.

Actionable Insights

Get full visibility into each task running in every workflow and get notified immediately on issues that require troubleshooting.

Proven Reliability

Having a fully managed orchestration service means having the peace of mind that your production workflows are up and running. With 99.95% uptime, Databricks Workflows is trusted by thousands of organizations.

Como funciona?

Unificado com a Databricks Data Intelligence Platform

Confiabilidade na produção

Monitoramento e observabilidade detalhados

Batch e streaming

Compute eficiente

Experiência de usuário perfeita

Unificado com a Databricks Data Intelligence Platform

Ao contrário das ferramentas de orquestração externa, o Databricks Workflows está totalmente integrado à Databricks Data Intelligence Platform. Isso significa que você obtém criação de fluxo de trabalho nativo em seu workspace e a capacidade de automatizar qualquer recurso da plataforma, incluindo pipelines das Delta Live Table, notebooks da Databricks e queries do Databricks SQL. Com o Unity Catalog, você obtém linhagem de dados automatizada para cada fluxo de trabalho para manter o controle de todos os seus ativos de dados em toda a organização.

Confiabilidade em escala

Todos os dias, milhares de organizações confiam no Databricks Workflows para executar milhões de cargas de trabalho de produção em AWS, Azure e GCP com 99,95% de tempo de atividade. Com uma ferramenta de orquestração totalmente gerenciada incorporada à Data Intelligence Platform, você não precisa manter, atualizar ou solucionar problemas de outra ferramenta independente para orquestração.

Monitoramento e observabilidade detalhados

A integração total com a Data Intelligence Platform significa que o Databricks Workflows fornece melhor observabilidade do que qualquer ferramenta de orquestração externa. Mantenha o controle obtendo uma visão completa de cada fluxo de trabalho executado e defina notificações de falhas para alertar sua equipe por e-mail, Slack, PagerDuty ou um webhook personalizado para poder se antecipar aos problemas rapidamente e solucionar problemas antes que os consumidores de dados sejam afetados.

Batch e streaming

O Databricks Workflows oferece uma solução única para orquestrar tarefas em qualquer cenário da Data Intelligence Platform. Use uma execução de fluxo de trabalho programada para trabalhos recorrentes que realizam a ingestão em lote em horários predefinidos ou implemente pipelines de dados em tempo real que executam continuamente. Você também pode configurar um fluxo de trabalho para executar quando novos dados forem disponibilizados utilizando triggers de chegada do arquivo.

Compute eficiente

A orquestração com o Databricks Workflows oferece melhor desempenho de preço para suas cargas de trabalho de produção automatizadas. Obtenha economias de custos significativas ao utilizar clusters de jobs automatizados que têm um custo mais baixo e só são executados quando um trabalho é agendado. Assim, você não paga por recursos não utilizados. Além disso, clusters de jobs compartilhados permitem reutilizar recursos de compute para múltiplas tarefas para você otimizar a utilização de recursos.

Experiência de usuário perfeita

Defina fluxos de trabalho em seu ambiente preferido; crie facilmente fluxos de trabalho diretamente na interface de usuário do workspace da Databricks ou usando seu IDE favorito. Defina tarefas que usem um notebook com controle de versão em um Databricks Repo ou em um repositório Git remoto e adote as práticas recomendadas de DevOps, como CI/CD.