Quais são as novidades no compartilhamento e na colaboração de dados

Databricks permite que as organizações compartilhem dados, modelos de IA e análises de forma segura entre equipes, parceiros e plataformas, sem duplicação ou dependência de fornecedor. Com o Delta Sharing, Databricks Marketplace e Clean Rooms, as empresas podem colaborar em tempo real mantendo a privacidade e a governança dos dados.

A Databricks continua a expandir os limites do compartilhamento e colaboração de dados. Neste blog, vamos explorar:

• A Disponibilidade Geral dos Ambientes Limpos Databricks
• Novos recursos do Delta Sharing e como eles melhoram a troca segura de dados
• O papel do Delta Sharing em nossa parceria com a SAP
• Por que integramos o Databricks Marketplace com o Partner Connect e como o ecossistema do Marketplace está se expandindo

Vamos revisar cada uma dessas atualizações no restante do blog.

Ambientes Limpos agora estão geralmente disponíveis para Azure & AWS

Databricks Clean Rooms é alimentado por Delta Sharing e permite que as empresas colaborem facilmente com seus clientes e parceiros em qualquer nuvem sem comprometer a privacidade ou compartilhar dados sensíveis. Empresas líderes como Mastercard, Intuit e AppsFlyer já começaram a usar Databricks Clean Rooms para casos de uso como publicidade direcionada, detecção de fraudes, processos de empréstimos e eficiência de ensaios clínicos.

Novas capacidades incluem compartilhamento federado entre nuvens, suporte para conformidade com a HIPAA para uso na saúde, APIs de gerenciamento para automação e auto-colaboração dentro de um único metastore. Leia nosso blog de anúncio GA.

Impulsionando o crescimento no compartilhamento de dados com o Delta Sharing

Recentemente lançamos várias novas funcionalidades, incluindo Compartilhamento de Visualização entre Plataformas, Compartilhamento Aberto Seguro com OpenID Connect, compartilhamento de histórico para aumentar o desempenho de leitura de tabelas, controles de egresso sem servidor e Compartilhamento de Federação Lakehouse. Com essas melhorias, o Delta Sharing oferece colaboração de dados entre plataformas simplificada para ecossistemas multicloud, enquanto impõe protocolos de segurança rigorosos.

Compartilhamento de Visualização entre Plataformas

Recentemente lançamos a Prévia Pública do Compartilhamento de Visualizações entre Plataformas. O compartilhamento de visualizações tem sido útil; outros fornecedores também o fazem. Mas até agora, estava principalmente limitado à mesma plataforma. Você poderia compartilhar visualizações dentro de uma plataforma, mas não entre várias plataformas e nuvens. Anteriormente, quando uma visualização era compartilhada entre contas Databricks, os consumidores poderiam consultá-la usando apenas o Databricks SQL Serverless.

Databricks resolve esse problema com o compartilhamento de visualizações entre plataformas e permite que você compartilhe visualizações de maneira contínua entre diferentes ambientes. Agora, os consumidores de dados podem aproveitar qualquer tipo de cluster Databricks ou até mesmo utilizar clientes Delta Sharing abertos para acessar e consultar visualizações compartilhadas. Isso é um divisor de águas porque amplia o alcance dos provedores de dados e evita o bloqueio de fornecedores para os consumidores de dados, tornando a colaboração mais fácil e rápida. Dê uma olhada nesta demonstração para ver o compartilhamento de visualizações entre plataformas em ação.

Compartilhamento Aberto Seguro com Federação de Tokens OIDC

O Compartilhamento Aberto Seguro com Federação de Tokens OIDC em breve estará em uma prévia pública restrita. Os destinatários abertos agora podem se autenticar através de seus Provedores de Identidade (IdPs) preferidos usando OpenID Connect (OIDC) ou tokens OAuth. Isso reduz os riscos de exposição, eliminando a troca direta de informações sensíveis ao compartilhar com destinatários não-Databricks (Compartilhamento Databricks-para-Aberto).

Imagine que você está compartilhando uma caixa trancada de documentos importantes com alguém. Em vez de dar a eles uma chave física (que pode ser perdida ou roubada), você permite que eles destravem a caixa usando seu próprio cartão de identificação seguro de um sistema confiável, como o crachá de trabalho deles.

Isso é semelhante a como a Databricks agora permite que os destinatários abertos usem seus próprios Provedores de Identidade confiáveis (como Google ou Microsoft) para acessar de forma segura os dados compartilhados, sem a necessidade de trocar chaves sensíveis ou senhas.

Compartilhamento Federado Lakehouse
E se você tiver dados que residem fora do Databricks, como bancos de dados, para compartilhar? Você precisa encontrar uma solução de compartilhamento diferente? Não é necessário.

Compartilhar para a Federação Lakehouse é a resposta. Agora, os clientes podem compartilhar dados diretamente onde eles são armazenados em várias plataformas de dados, incluindo bancos de dados e armazéns de dados, como Snowflake ou Google BigQuery, sem mover ou copiar os dados. Este recurso diferenciador ajudará os clientes a eliminar processos ETL dispendiosos e garantir o acesso em tempo real aos dados em sua localização original não-Databricks.

O Compartilhamento Federado Lakehouse agora está em Visualização Privada.

Melhor desempenho de leitura de tabela com compartilhamento de histórico
Melhore o desempenho de leitura de tabela com compartilhamento de histórico está em pré-visualização pública. Este recurso melhora o desempenho da leitura de tabelas compartilhadas entre os espaços de trabalho do Databricks quando compartilham histórico. Ele aproveita uma abordagem baseada em token de nuvem, que usa credenciais de segurança temporárias do armazenamento em nuvem para compartilhar de forma segura todo o diretório da tabela, eliminando a necessidade de pré-assinar cada compartilhamento de arquivo. Essas credenciais permitem a recuperação de dados mais rápida, alcançando níveis de desempenho comparáveis ao acesso direto às tabelas de origem.

Controle de Egresso Serverless
Introduzimos Controles de Egresso Serverless para o Delta Sharing, garantindo que os ambientes serverless dos destinatários permaneçam seguros e isolados da internet aberta. Este recurso permite que os destinatários acessem apenas locais de armazenamento aprovados associados ao Delta Shares, aumentando a segurança e reduzindo os riscos de acesso não autorizado aos dados.

Parceria SAP Potencializada por Delta Sharing

Com a recém-anunciada parceria SAP–Databricks, o “SAP Databricks” agora é um componente nativo do SAP Business Data Cloud, permitindo o compartilhamento bidirecional de dados entre SAP Databricks e ambientes empresariais via Delta Sharing. Para organizações que desejam aproveitar suas contas Databricks existentes para IA e análises, os dados da SAP também podem ser integrados usando o Delta Sharing.

No cerne desta parceria, o Delta Sharing proporciona uma troca de dados segura e contínua entre SAP Business Data Cloud e Databricks - seja SAP Databricks ou o espaço de trabalho Databricks atual do cliente. Essa abordagem reduz o risco de inconsistências de dados, mantendo os dados do SAP em sua localização original (SAP Business Data Cloud), enquanto permite que as organizações maximizem o valor dos investimentos em SAP, combinando-o com o restante de seus dados corporativos para análises avançadas e IA em toda a Plataforma Databricks.

O impulso do Databricks Marketplace continua

O Marketplace da Databricks está em alta, continuando a crescer em um ritmo impressionante. É um dos mercados de dados e IA que mais cresce por aí. Estamos animados para anunciar a fusão do Partner Connect, e a adição dos extensos dados de negócios da Dun and Bradstreet.

O Partner Connect agora faz parte da interface do Marketplace

Partner Connect agora faz parte da interface do Databricks Marketplace, simplificando como os clientes descobrem e acessam as ofertas do ecossistema. Todas as soluções de parceiros, incluindo produtos e integrações de terceiros, agora são acessíveis através de um único ponto de entrada centralizado no menu de navegação principal da Databricks. Diga adeus à navegação por várias interfaces - tudo agora está em um só lugar.

Mais de 600 milhões de registros de empresas Dun & Bradstreet agora disponíveis

E se você pudesse acessar mais de 600 milhões de registros de negócios - atualizados em tempo quase real - sem o incômodo de transferências de dados complexas? O rico conjunto de dados da Dun & Bradstreet agora está disponível no Databricks Marketplace, oferecendo acesso contínuo, seguro e escalável a informações de negócios críticas.

Este conjunto de dados pode ajudar os clientes a obter insights como

• Informações de contato fundamentais sobre suas relações mais importantes.
• Entender a liquidez de uma empresa para prevenir riscos futuros.
• Identifique oportunidades de cross-sell e up-sell dentro das contas.
• Entender os contatos mais importantes em sua lista de contas.
• E entenda a prontidão de compra da sua lista de contas.

“Dados confiáveis, confiáveis e atualizados são a espinha dorsal da tomada de decisões informada. O poder dos conjuntos de dados e insights analíticos da Dun & Bradstreet e a abertura, escalabilidade e segurança do Marketplace Databricks fornecem uma base sólida para as organizações colocarem o poder dos dados para trabalhar para elas quando e onde necessário para acelerar seus objetivos de negócios.” 

— Ginny Gomez, Presidente da Dun & Bradstreet, América do Norte

Considere este cenário hipotético de como uma empresa poderia se beneficiar dos dados D&B. A ManuCorp, uma empresa global de manufatura, enfrenta riscos significativos na cadeia de suprimentos devido a fatores como instabilidade financeira entre fornecedores, tensões geopolíticas e questões de conformidade ambiental. Para enfrentar esses desafios, a empresa recorre aos conjuntos de dados Dun & Bradstreet (D&B) disponíveis no Databricks Marketplace. Ao se inscrever nesses conjuntos de dados, a ManuCorp ganha acesso a informações em tempo real sobre a saúde financeira do fornecedor, pontuações de risco e classificações ESG. Estes podem ser prontamente disponibilizados no Catálogo Unity da ManuCorp via Delta Sharing.

Com esses dados, a ManuCorp realiza avaliações de risco completas de seus fornecedores, identificando aqueles com altas probabilidades de inadimplência ou sujeitos a sanções internacionais. Isso permite o gerenciamento proativo de relacionamentos com fornecedores e a mitigação de riscos. A empresa também utiliza análises preditivas dentro do Databricks para prever possíveis interrupções de eventos geopolíticos ou desastres naturais, permitindo rotas de transporte otimizadas e planejamento de contingência.

A demonstração abaixo mostra como as empresas podem aproveitar as ferramentas da D&B para aprimorar seus dados com informações de negócios confiáveis e manter insights atualizados por meio de monitoramento contínuo. Qualquer atualização é compartilhada como "ações delta", fornecendo insights em tempo real sobre mudanças para esses negócios. Isso garante a precisão e relevância contínuas dos dados para a tomada de decisões.

Confira Dun & Bradstreet no Marketplace da Databricks

Estes são apenas o começo - mais inovações estão a caminho para melhorar o compartilhamento de dados. A Databricks em breve oferecerá Visualizações Materializadas e Compartilhamento de Tabelas em Tempo Real, possibilitando o compartilhamento contínuo de dados em tempo real e resultados de consultas pré-calculadas para melhor desempenho e eficiência de custos. Além disso, o Databricks Marketplace apresentará Databricks Apps e um Assistente de IA para simplificar a descoberta de produtos de dados através de prompts de conversação.

Incentivamos você a aprender mais sobre Compartilhamento de Dados e Colaboração. Confira a 3ª edição de Uma Nova Abordagem para Compartilhamento de Dados

(This blog post has been translated using AI-powered tools) Original Post