Anunciando a Disponibilidade Geral do Lakeflow Connect

Estamos animados em anunciar a Disponibilidade Geral do Lakeflow Connect para Salesforce e Workday. Lakeflow Connect apresenta conectores de ingestão sem código para aplicações SaaS populares, bancos de dados e fontes de arquivos - permitindo que você construa pipelines de ingestão escaláveis e desbloqueie todo o poder dos seus dados com a Plataforma de Inteligência de Dados Databricks. Os conectores Salesforce e Workday são os primeiros conectores gerenciados a serem lançados para GA desde o anúncio do Lakeflow Connect em julho passado, com muitos mais a caminho.

Os conectores de dados gerenciados do Lakeflow Connect são alimentados por computação serverless e estão disponíveis em AWS, Azure e GCP. Eles estão totalmente integrados com a Plataforma de Inteligência de Dados para governança, observabilidade e segurança empresarial.

Lakeflow Connect é o primeiro de três componentes lançados como parte do Lakeflow, a solução unificada de engenharia para ingestão, transformação e orquestração. Funciona perfeitamente com DLT para transformação e Fluxos de trabalho Databricks para orquestração.

Adotantes iniciais como Porsche Holding, Insulet, Equiniti, Stroër SE & Co. e Flick já estão usando o Lakeflow Connect para resolver alguns de seus desafios de dados mais difíceis.

Silos de dados causam complexidade e ineficiência na ingestão

Hoje, é difícil construir e manter pipelines de ingestão para aplicações SaaS você mesmo porque cada API é única e muda frequentemente. Enquanto isso, a ingestão de banco de dados pode ser ainda mais complexa, muitas vezes exigindo infraestrutura extra, como máquinas virtuais para ferramentas de extração, Kafka para streaming e um forte entendimento das tecnologias de captura de dados de mudança (CDC) para ingestão eficiente.

Como resultado, as organizações gastam muito tempo construindo, otimizando e mantendo uma colcha de retalhos de pipelines. Isso retarda os projetos e pode criar uma arquitetura ETL fragmentada que é difícil de governar. Isso também obriga engenheiros de dados altamente qualificados a gastar tempo movendo dados e monitorando pipelines em vez de desenvolver inovações estratégicas.

Suporte integrado para ingestão de dados do Salesforce e Workday

Lakeflow Connect elimina esses desafios, tornando fácil criar pipelines prontos para produção com alguns cliques na interface do usuário ou algumas linhas de código. Por trás das cenas, a ingestão é eficiente, com atualizações incrementais e uso otimizado da API. Enquanto seus pipelines gerenciados são executados, cuidamos da evolução do esquema, atualizações de API de terceiros sem interrupções e observabilidade abrangente com alertas integrados.

"Com o conector do Salesforce, desativamos com sucesso quatro serviços, o que simplificou significativamente nossa pilha de tecnologia e reduziu nossos custos. Esta integração não apenas simplificou nossa arquitetura, mas também melhorou nossa eficiência operacional, permitindo-nos focar em entregar mais valor com menos recursos." 

— Simon Salmeri, Chefe da Plataforma de Dados, Ströer

Lakeflow Connect para Salesforce permite que você combine as ferramentas avançadas de análise e IA do Databricks com os dados de CRM do Salesforce para construir uma experiência de venda mais eficaz: prever tendências de vendas, aprofundar insights sobre comportamentos de clientes e personalizar estratégias de engajamento. O conector suporta requisitos específicos do Salesforce, como objetos personalizados e campos de fórmula.

"Estamos usando o conector Salesforce do Lakeflow Connect para um caso de uso de segmentação de marketing. Nossos dados do Salesforce contêm informações cruciais sobre nossos clientes, e o conector tem sido a peça que faltava para trazer este conjunto de dados para nosso lakehouse.… Agora estamos apenas no início de entender melhor nossos clientes e melhorar sua experiência.” 

— Ana-Maria Mocanu, Líder de Dados e Insights, Flick

Databricks e Salesforce anunciaram uma parceria estratégica em 2023 para construir integrações robustas para nossos clientes conjuntos. Desde então, nós lançamos o Conector de Dados da Nuvem Salesforce de cópia zero para que os clientes possam descobrir, consultar e governar o Salesforce Data Cloud diretamente do Catálogo Unity. Emparelhado com o Lakeflow Connect para Salesforce, os clientes podem usar tanto seus dados de CRM quanto seus dados de CDP dentro do Databricks.

Lakeflow Connect para Workday também oferece ingestão simples e de baixa manutenção. Você pode acessar relatórios personalizados do Workday para análises centralizadas de sua força de trabalho.

Ambos os conectores se integram perfeitamente à Plataforma de Inteligência de Dados, para que você possa usar:

• DLT para transformar dados de forma declarativa e atualizar transformações incrementalmente à medida que os dados continuam a ser transmitidos
• Workflows Databricks para orquestrar esses pipelines
• Databricks Asset Bundles (DABs) para gerenciar integração contínua e entrega
• Ferramentas avançadas de análise e aprendizado de máquina para gerar valor para o negócio
• Catálogo Unity para governar seus dados e pipelines
• Monitoramento Lakehouse para manter a qualidade dos seus dados

Impulsionando casos de uso de negócios de alto valor

Lakeflow Connect ajuda a desbloquear casos de uso de alto valor em várias indústrias, como entender o comportamento do cliente, analisar dados de RH ou identificar oportunidades de upsell.

Um caso de uso comum é a previsão de evasão de clientes. No vídeo abaixo, demonstramos como um varejista pode fazer isso ao ingerir dados de pedidos de clientes do Salesforce e combiná-los com interações de clientes em outros canais para insights enriquecidos.

Demonstração: Como usar o Lakeflow Connect para Salesforce para prever a rotatividade de clientes.

Outro caso de uso é a criação de um painel de suporte ao cliente para executivos e equipes de suporte. Você pode até usar LLMs para diagnosticar as tendências que aparecem no painel, conforme mostrado em esta postagem de blog passo a passo.

Para departamentos de recursos humanos, o conector Workday pode ajudar a rastrear e prever tendências de RH, como rotatividade de funcionários. Por exemplo, você pode ingerir relatórios relevantes do Workday, transformá-los com DLT e incorporar os resultados em um painel de AI/BI.

Centenas de clientes usando o Lakeflow Connect

Os clientes já estão ingerindo dados de uma variedade de fontes com o Lakeflow Connect.

Como uma das empresas automotivas mais bem-sucedidas do mundo, a Porsche Holding Salzburg (Porsche) é a maior empresa de varejo automotivo da Europa, com operações em 23 países. A Porsche queria abordar seus desafios de integração de dados e simplificar o acesso aos dados de seus clientes no Salesforce Sales Cloud. Usando o Lakeflow Connect, a Porsche conseguiu ingerir dados do Salesforce, transformá-los em modos de lote e streaming, e implantar e operar os pipelines em produção. Hoje, a Plataforma de Inteligência de Dados Databricks forma o núcleo da Plataforma de Dados do grupo Porsche. Saiba mais sobre o sucesso da Porsche usando o Lakeflow Connect.

“Usar o conector do Salesforce do Lakeflow Connect nos ajuda a fechar uma lacuna crítica para a Porsche do lado dos negócios em termos de facilidade de uso e preço. Do lado do cliente, somos capazes de criar uma experiência completamente nova para o cliente que fortalece o vínculo entre a Porsche e o cliente com uma jornada do cliente unificada e não fragmentada.” 

— Lucas Salzburger, Gerente de Projetos, Porsche Holding

Insulet é uma empresa de dispositivos médicos que desenvolveu a plataforma de produtos Omnipod, e eles foram um dos primeiros a adotar o Lakeflow Connect. Com a missão de simplificar a vida das pessoas com diabetes e outras condições, eles procuraram explorar seus insights de CRM para entender melhor as necessidades de seus clientes. Eles usaram o conector Salesforce para reduzir sua latência ETL de dias para minutos - melhorando o processo de resolução para seus clientes com insights quase em tempo real.

“O conector Salesforce do LakeFlow Connect foi especialmente importante, pois nos permitiu ingerir diretamente o feedback do cliente, dados de vendas e interações de serviço do CRM Salesforce para o Databricks. O LakeFlow Connect mudou completamente a forma como lidamos com os dados do Salesforce. Nos livramos do middleware não confiável e agora podemos analisar tudo diretamente no Databricks - mais rápido e com menos esforço manual.”

— Bill Whiteley, diretor sênior de IA, analítica e algoritmos avançados, Insulet

Equiniti (EQ) é líder global em serviços de acionistas, pensões e remediação, e eles queriam centralizar dados e insights em suas operações. Usando o Lakeflow Connect para Salesforce, Workday e SQL Server, a EQ resolveu sem problemas a ingestão - liberando assim talentos de engenharia críticos para se concentrar no uso do Mosaic AI para melhorar a experiência do cliente para suas 6.000 empresas em 136 países. Para a EQ, a capacidade de criar integrações sem código para suas plataformas centrais ajudou-os a economizar tempo e custos adicionais, permitindo que eles se concentrassem em multiplicadores de valor como aplicações Gen AI. Saiba como a EQ construiu uma plataforma de dados e IA segura e unificada em três etapas.

Começando com o Lakeflow Connect

As equipes de dados agora podem usar o Lakeflow Connect para construir pipelines incrementais eficientes em grande escala, com apenas alguns cliques ou linhas de código. Comece hoje com o conector do Salesforce ou Workday para ajudar a desbloquear casos de uso de alto valor, como prever a rotatividade de clientes, executar análises de clientes personalizadas e identificar oportunidades de upsell.

O roteiro do Lakeflow Connect inclui conectores adicionais como SQL Server, Google Analytics, ServiceNow, SFTP, SharePoint e PostgreSQL. Fique atento para mais anúncios este ano, ou entre em contato com a sua equipe de conta Databricks se estiver interessado em participar de uma prévia para acesso antecipado.

O Lakeflow Connect tem um modelo de precificação baseado em computação. Salesforce e Workday, que funcionam exclusivamente em infraestrutura sem servidor, incorrerão em cobranças de DLT DBT sem servidor. Veja mais detalhes em tarifas.

Para começar a usar o Lakeflow Connect para Salesforce e Workday, você pode revisar a documentação ou experimentar este acelerador de soluções.

(This blog post has been translated using AI-powered tools) Original Post