Streaming de dados
Simplifique análises em tempo real, ML e aplicações
A Databricks Data Intelligence Platform simplifica drasticamente a transmissão de dados para fornecer análises em tempo real, machine learning e aplicações em uma única plataforma.
Permita que suas equipes de dados criem cargas de trabalho de streaming com as linguagens e ferramentas que já conhecem. Simplifique o desenvolvimento e as operações, automatizando os aspectos de produção associados à criação e manutenção de cargas de trabalho de dados em tempo real. Elimine silos unificando streaming e dados em batch em uma única plataforma.
Crie pipelines e aplicações de streaming mais rapidamente
Use as linguagens e ferramentas que você já conhece com APIs unificadas para batch e streaming em SQL e Python. Coloque análises, ML e aplicações em tempo real para trabalhar em toda a sua organização.
Simplifique as operações com automação de ferramentas
Implante facilmente seus pipelines em tempo real e aplicações para produção e beneficie-se do gerenciamento simplificado. Ferramentas automatizadas simplificam a orquestração de tarefas, tolerância e recuperação de falhas, verificação automática, otimização de desempenho e redimensionamento automático.
Unifique a governança de todos os seus dados em tempo real em suas diferentes nuvens
O Unity Catalog oferece ao seu lakehouse um modelo de governança unificado para todos os seus dados em batch e streaming, facilitando a descoberta, visualização e compartilhamento de dados em tempo real.
Como funciona?
Ingestão e transformação de dados de streaming
Análises em tempo real, ML e aplicações
Ferramentas operacionais automatizadas
Mecanismo de processamento de stream de última geração
Governança e armazenamento unificados
Ingestão e transformação de dados de streaming
Simplifique a ingestão de dados e o ETL para pipelines de dados de streaming com as Delta Live Tables. Aproveite uma abordagem declarativa simples para a engenharia de dados para permitir que suas equipes usem as linguagens e ferramentas que já conhecem, como SQL e Python. Crie e execute pipelines de dados em batch e streaming em um só lugar com configurações de atualização controláveis e automatizadas, economizando tempo e reduzindo a complexidade operacional. Não importa onde você planeja enviar seus dados, construir pipelines de dados de streaming na Plataforma Databricks Lakehouse garante que você não perca tempo entre dados brutos e limpos.
“Cada vez mais unidades de negócios estão usando a plataforma de maneira self-service, o que antes era impossível. Estou extremamente impressionada com o impacto positivo que a Databricks teve na Columbia.”
— Lara Minor, gerente sênior de dados empresariais, Columbia Sportswear
Análises em tempo real, ML e aplicações
Com o streaming de dados, melhore imediatamente a precisão e capacidade de ação a partir de suas análises e IA para aproveitar todo o seu potencial. Sua empresa se beneficiará de insights em tempo real, derivados diretamente de pipelines de dados de streaming. Seja realizando Análises SQL ou Relatórios de BI, treinando modelos de ML ou criando aplicações operacionais em tempo real, aproveite os dados mais recentes para obter vantagens para ficar à frente da concorrência: insights em tempo real, previsões mais precisas e tomadas de decisão mais rápidas.
“Devemos sempre fornecer os dados mais recentes e precisos aos nossos parceiros de negócios ou eles perderão confiança nos insights... A Plataforma Databricks Lakehouse tornou extremamente fácil o que antes era impossível.”
— Guillermo Roldán, diretor de arquitetura, LaLiga Tech
Ferramentas operacionais automatizadas
Quando você cria e implanta pipelines de dados de streaming, a Databricks automatiza muitas das tarefas operacionais complexas necessárias para passar para a produção. A plataforma lida com processos como redimensionamento automático da infraestrutura, orquestração de dependências de pipeline, tratamento e recuperação de erros, otimização de desempenho e muito mais. O redimensionamento automático aprimorado otimiza a utilização do cluster alocando automaticamente recursos de computação para cada carga de trabalho. Esses recursos, complementados por testes automáticos de qualidade de dados e tratamento de exceções, reduzem o tempo necessário para criar e manter ferramentas operacionais para que você possa se concentrar em obter valor dos seus dados.
Mecanismo de processamento de stream de última geração
O Spark Structured Streaming é a tecnologia fundamental por trás do streaming de dados na Databricks Lakehouse Platform. Ele fornece uma API unificada para processamento em batch e streaming. A Databricks Lakehouse Platform é a melhor maneira de executar suas cargas de trabalho do Apache Spark em um serviço gerenciado com uma disponibilidade comprovada de 99,95%. Suas cargas de trabalho do Spark são ainda mais aceleradas pelo Photon, o mecanismo lakehouse de última geração compatível com as APIs do Apache Spark. Ele oferece desempenho recorde por seu custo e pode ser redimensionado automaticamente para suportar milhares de nós.
Governança e armazenamento unificados
Com o streaming de dados no Databricks, você se beneficia dos componentes fundamentais da Plataforma Lakehouse — Unity Catalog e Delta Lake. Seus dados brutos são otimizados com a Delta Lake, a única estrutura de armazenamento de código aberto criada desde o início para dados em batch e streaming. O Unity Catalog inclui governança detalhada para todos os seus dados e ativos de IA com um modelo consistente para descobrir, acessar e compartilhar dados nas nuvens. O Unity Catalog também fornece suporte nativo para Delta Sharing, o primeiro protocolo aberto do setor para compartilhamento de dados fácil e seguro com outras organizações.
Integrações
Dê flexibilidade às suas equipes de dados: aproveite o Partner Connect e nosso ecossistema de parceiros de tecnologia para integrar perfeitamente ferramentas de streaming populares.
