Visualizações materializadas

O que é uma visualização materializada?

Uma visualização materializada é um objeto de banco de dados que armazena os resultados de uma query como tabela física. Ao contrário das visualizações de banco de dados regulares, que são virtuais e derivam seus dados das tabelas subjacentes, as visualizações materializadas contêm dados pré-computados que são atualizados de forma incremental em um agendamento ou sob demanda. Esse pré-cálculo de dados permite tempos de resposta de query mais rápidos e melhor desempenho em determinados cenários.

As visualizações materializadas são especialmente úteis em situações em que queries ou agregações complexas são realizadas com frequência e os dados subjacentes são alterados com menos regularidade. Ao armazenar os resultados pré-computados, o banco de dados pode evitar a necessidade de executar queries complexas de maneira repetida, o que leva a tempos de resposta mais rápidos.

Visualizações materializadas no Databricks SQL

As visualizações materializadas no Databricks SQL são gerenciadas por meio do Unity Catalog. Elas armazenam resultados de pré-compute com base nos dados mais recentes das tabelas de origem. Ao contrário das implementações tradicionais, as visualizações materializadas do Databricks retêm o estado dos dados no momento do último refresh, em vez de atualizar sempre que são consultadas. Você tem a flexibilidade de dar refresh manual nas visualizações materializadas ou configurar refreshes automáticos agendados.

As visualizações materializadas do Databricks SQL são particularmente úteis para o processamento de ETL (Extrair, Transformar e Carregar). Elas fornecem uma abordagem simples e declarativa para lidar com conformidade, correções, agregações e captura de dados de alteração (CDC). As visualizações materializadas melhoram significativamente a latência da query e reduzem os custos pré-computando queries lentas e cálculos usados com frequência. Além disso, elas permitem transformações contínuas ao limpar, enriquecer e desnormalizar as tabelas-base. Em certos casos, as visualizações materializadas podem fazer compute de forma incremental nas alterações das tabelas-base, resultando em custos reduzidos e uma experiência de usuário simplificada.

A Databricks apresentou pela primeira vez visualizações materializadas como parte da arquitetura Lakehouse com o lançamento do Delta Live Tables. A criação de uma visualização materializada em um DB SQL Warehouse cria automaticamente um pipeline do Delta Live Tables para gerenciar refreshes da visualização. Você pode monitorar facilmente o status das operações de refresh usando a IU, API ou CLI do Delta Live Tables.

Criação de visualização materializada

O exemplo a seguir cria a visualização materializada customer_orders a partir das tabelas-base orders e customers:

CREATE MATERIALIZED VIEW customer_orders
AS 
SELECT
  customers.name,
  sum(orders.amount),
  orders.orderdate
FROM orders
  LEFT JOIN customers ON 
    orders.custkey = customers.c_custkey
GROUP BY
  name,
  orderdate;

Refresh de visualização materializada

No Databricks SQL, você tem a opção de configurar refresh automático para uma visualização materializada com base em um agendamento predefinido. Esse agendamento pode ser configurado durante a criação da visão materializada usando a cláusula SCHEDULE ou adicionado posteriormente usando o comando ALTER VIEW. Depois que um agendamento é estabelecido, um job da Databricks é criado automaticamente para lidar com as atualizações.

Para revisar os detalhes do agendamento a qualquer momento, você pode usar o comando DESCRIBE EXTENDED, que fornece visibilidade do agendamento configurado para a visualização materializada. Isso permite que você monitore e gerencie facilmente o agendamento de refresh automático para sua visualização materializada no Databricks SQL.

Para obter mais informações sobre visualizações materializadas, consulte a documentação do produto Databricks ou leia o artigo de introdução no blog.