Anunciando a Prévia Pública do Compartilhamento de Tabela de Streaming e View Materializada

Estamos entusiasmados em anunciar que o compartilhamento de visualizações materializadas e tabelas de streaming agora está disponível em Visualização Pública. As Tabelas de Streaming (STs) ingerem continuamente dados em streaming, tornando-as ideais para pipelines de dados em tempo real, enquanto as Views Materializadas (MVs) melhoram o desempenho das análises SQL e painéis de BI ao pré-computar e armazenar resultados de consultas antecipadamente. 

Neste post do blog, exploraremos como o compartilhamento desses dois tipos de ativos permite que os provedores de dados melhorem o desempenho e reduzam os custos, enquanto entregam dados frescos e relevantes aos destinatários dos dados.

Entendendo Views Materializadas e Tabelas de Streaming

Visões materializadas (MVs) e Tabelas de streaming (STs) ambas suportam atualizações incrementais, o que ajuda a manter os dados atualizados e as consultas eficientes.

• As tabelas de streaming são usadas para ingerir dados em tempo real, muitas vezes formando a camada "bronze", onde os dados brutos chegam primeiro. Eles são úteis para fontes como logs, eventos ou dados de sensores.

• As visões materializadas são mais adequadas para as camadas "prata" ou "ouro", onde os dados são refinados ou agregados. Eles ajudam a reduzir o tempo de consulta pré-computando resultados em vez de escanear tabelas base completas.

Ambos podem ser usados juntos - por exemplo, tabelas de streaming lidam com a ingestão de leituras de sensores, enquanto as visualizações materializadas executam cálculos contínuos, como a detecção de padrões incomuns.

Leia este blog para aprender mais sobre Tabelas de Streaming e Views Materializadas

Por que os provedores de dados precisam compartilhar ST?

Compartilhar tabelas de streaming (STs) permite que os destinatários dos dados acessem dados ao vivo e atualizados sem duplicar pipelines ou replicar dados. Considere um cenário em que uma empresa de varejo precisa compartilhar dados de vendas em tempo real com um parceiro de logística para suportar a otimização de entrega em tempo quase real.

1. A empresa constrói e mantém uma tabela de streaming no Databricks que ingere continuamente dados transacionais de sua plataforma de comércio eletrônico. Esta tabela captura eventos como compras de produtos, atualizações de níveis de estoque e reflete o estado atual das atividades de vendas.
2. A empresa usa o Delta Sharing para compartilhar a tabela de streaming. Isso é feito criando um compartilhamento no Databricks e adicionando a tabela com o seguinte comando SQL:

3. O parceiro logístico recebe credenciais e detalhes de configuração para acessar a tabela de streaming compartilhada a partir de seu próprio espaço de trabalho Databricks.

4. O parceiro de logística usa os dados de vendas ao vivo para prever pontos quentes de entrega, atualizar rotas de veículos em tempo real e melhorar a velocidade de entrega de pacotes em áreas de alta demanda.

Ao compartilhar tabelas de streaming, o parceiro de logística evita a construção de pipelines ETL redundantes, reduzindo a complexidade e os custos de infraestrutura. O Delta Sharing permite acesso entre plataformas, então os consumidores de dados não precisam estar no Databricks. Tabelas de streaming podem ser compartilhadas entre nuvens, regiões e plataformas.

O provedor de dados mantém total controle sobre o acesso, usando permissões de granularidade fina gerenciadas através do Catálogo Unity.

Assista a esta demonstração para ver como um provedor de dados pode compartilhar ST com usuários do Databricks e outras plataformas

Por que os provedores de dados precisam compartilhar MV?

Compartilhar apenas as Visualizações Materializadas em vez das tabelas base brutas melhora a segurança e a relevância dos dados. Garante que campos sensíveis ou desnecessários dos dados subjacentes permaneçam ocultos, enquanto ainda fornece ao consumidor as percepções específicas de que ele precisa. Esta abordagem é especialmente útil quando o consumidor está interessado em resultados agregados ou filtrados e não requer acesso aos dados de origem completos.

Por exemplo, considere um provedor de dados que monetiza insights do mercado financeiro. Eles processam transações brutas, como negociações de ações, e criam insights agregados valiosos (por exemplo, o desempenho diário de setores da indústria). Um fundo de hedge (o cliente) precisa de insights diários sobre o desempenho financeiro das ações de tecnologia, mas não quer processar grandes volumes de dados brutos de transações.

Em vez de compartilhar dados brutos de comércio, os provedores de dados podem criar um conjunto de dados curado para fornecer aos fundos de hedge insights pré-computados que são mais fáceis de usar e interpretar.

1. O provedor de dados constrói dados de negociação agregados para calcular o desempenho diário do setor de tecnologia e armazena o resultado como uma visualização materializada. Esta MV oferece insights pré-agregados prontos para uso para consumidores downstream como o fundo de hedge.
2. O provedor adiciona este MV a um objeto de compartilhamento seguro e concede acesso às credenciais do destinatário do cliente:
3. O fundo de hedge recupera o MV compartilhado usando ferramentas analíticas como Python, Tableau ou Databricks SQL. Se estiver usando Databricks, o destinatário pode montar o compartilhamento diretamente no Catálogo Unity.  Delta Sharing garante interoperabilidade onde os MVs podem ser compartilhados entre diferentes plataformas, ferramentas (por exemplo, Apache Spark™, Pandas, Tableau) e nuvens sem estar preso a um único ecossistema.
4. O fundo de hedge pode usar diretamente esses dados pré-computados para tomar decisões, como ajustar seu investimento em ações de tecnologia.

O provedor de dados evitou gerenciar pipelines complexos e personalizados para cada cliente. Criar e compartilhar MVs significa que não há mais necessidade de manter várias versões dos mesmos dados. Todos os detalhes desnecessários das tabelas base permanecem protegidos enquanto ainda satisfazem as necessidades de dados do destinatário. O destinatário dos dados obtém acesso instantâneo aos dados curados e gasta recursos na análise em vez da preparação dos dados.

Assista a esta demonstração para ver como um provedor de dados pode compartilhar MV com usuários do Databricks e outras plataformas.

Quando usar Views vs Visualizações Materializadas?

Delta Sharing também suporta compartilhamento de visualizações entre plataformas, que permite aos provedores de dados compartilhar visualizações usando o protocolo Delta Sharing. Embora as visualizações materializadas sejam úteis para compartilhar resultados pré-agregados e melhorar o desempenho da consulta, existem casos em que as visualizações podem ser mais adequadas. Delta Sharing também suporta o compartilhamento de visualizações entre plataformas, nuvens e regiões. Ao contrário das views materializadas, as views não são pré-computadas - elas são avaliadas no momento da consulta. Isso os torna adequados para cenários que exigem acesso em tempo real aos dados mais atuais ou onde diferentes consumidores precisam aplicar seus próprios filtros em tempo real. As views oferecem mais flexibilidade, especialmente quando a otimização de desempenho é menos crítica do que a atualização de dados ou a personalização específica da consulta.

Como a Kaluza está Compartilhando Visualizações Materializadas com Parceiros de Energia

Kaluza é uma plataforma de software de energia avançada que permite aos fornecedores de energia transformar operações, reinventar a experiência do cliente e otimizar a energia para acelerar a transição para uma rede elétrica mais barata e verde.

Os provedores de energia enfrentam uma complexidade crescente no gerenciamento de dados de um número crescente de dispositivos conectados, incluindo veículos elétricos, bombas de calor, painéis solares e baterias, bem como um sistema de energia mais volátil e necessidades complexas dos clientes. Arquiteturas tradicionais lutam para entregar insights em tempo real e eficiência operacional em escala.

O compartilhamento de MV/ST permitirá uma solução pronta para uso que permite a plataforma Kaluza operar com menor complexidade de engenharia. Através de pipelines que geram visualizações materializadas, a Kaluza permite que seus parceiros acessem dados modelados e relatórios para insights acionáveis. Esta abordagem simplifica a colaboração, reduz a sobrecarga de integração e acelera a entrega de novas propostas de clientes em diferentes mercados.

“A escala e a complexidade dos dados de energia exigem colaboração e compartilhamento de conhecimento entre indústrias. As visualizações materializadas do Delta Sharing facilitam a integração contínua com fornecedores de energia, apoiando a descarbonização da rede e gerando valor para os stakeholders do sistema e para os clientes.”

— Thomas Millross, Gerente de Engenharia de Dados, Kaluza

Para concluir, compartilhar Tabelas de Streaming e Visualizações Materializadas facilita a entrega de insights frescos e em tempo real, enquanto reduz custos e complexidade. Seja compartilhando fluxos de dados ao vivo ou resultados pré-computados, o compartilhamento de MV/ST ajuda você a se concentrar no que importa - tomar decisões melhores mais rapidamente. O compartilhamento MV/ST agora está disponível em Visualização Pública. Experimente.

(This blog post has been translated using AI-powered tools) Original Post