Anunciando a Disponibilidade Geral da Federação Lakehouse para Google BigQuery e a Prévia Pública para Teradata e Oracle

Estamos animados para anunciar a Disponibilidade Geral da Federação Lakehouse para o Google BigQuery e a Prévia Pública para Oracle e Teradata. Agora, você pode conectar, descobrir, governar e consultar dados dessas fontes através do Unity Catalog - sem migração ou ETL. Isso facilita o acesso aos dados, garantindo uma arquitetura de lakehouse aberta e interoperável.

Unifique seus dados e governança em plataformas distribuídas com a Federação Lakehouse

A Federação Lakehouse permite que os usuários consultem e analisem dados em bancos de dados, armazéns de dados e catálogos distintos sem duplicar ou transferir dados. Ao integrar fontes de dados externas diretamente no Catálogo Unity, as organizações podem:

• Obtenha uma visão unificada de todo o seu conjunto de dados: Classifique e descubra automaticamente dados estruturados e não estruturados em uma única plataforma, capacitando sua organização a acessar e explorar com segurança todos os dados disponíveis - onde quer que estejam.
• Consulte e analise dados de maneira contínua com um único motor: Permita análises rápidas e prototipagem em todos os seus dados, análises e cargas de trabalho de IA sem a necessidade de ingestão. Um motor unificado otimiza o desempenho da consulta com planejamento avançado de consultas, cache e execução entre fontes, permitindo que você combine eficientemente dados de várias plataformas em uma única consulta.
• Garanta a segurança e governança de dados consistentes: Aplique um modelo de permissão unificado para impor regras de acesso em todas as fontes de dados. Implemente segurança em nível de linha e coluna, políticas baseadas em tags e auditoria centralizada, mantendo total visibilidade do uso dos dados. Atenda aos requisitos de conformidade sem esforço com a linhagem de dados integrada e auditabilidade.

A Federação Lakehouse suporta um conjunto diversificado de plataformas, incluindo MySQL, PostgreSQL, Teradata, Oracle, Amazon Redshift, Salesforce Data Cloud, Snowflake, Microsoft SQL Server, Azure Synapse (SQL Data Warehouse), Google BigQuery e Hive metastore, com mais conectores chegando em breve.

Disponibilidade Geral da Federação Lakehouse para BigQuery

Com o lançamento GA do Lakehouse Federation para o Google BigQuery, os usuários agora podem conectar dados do BigQuery ao Databricks sem a necessidade de movimentação ou duplicação de dados. Isso permite que eles executem cargas de trabalho diretamente nos dados do BigQuery a partir de seu ambiente Databricks no GCP, Azure ou AWS, aproveitando a governança refinada do Catálogo Unity para uma gestão de dados segura e eficiente.

Esta integração permite:

• Gerenciamento unificado de dados: Descubra e governe os dados do BigQuery de maneira contínua junto com outras fontes dentro do Unity Catalog, garantindo controle de acesso e governança consistentes.
• Desempenho de consulta otimizado: Utilize o poder de computação do BigQuery enquanto se beneficia da otimização avançada de consultas do Databricks para insights mais rápidos.
• Melhor colaboração: Capacite as equipes para trabalhar de forma eficiente em ambientes de nuvem com uma interface unificada para consultar e analisar dados em várias plataformas.

A Federação Lakehouse para BigQuery conectou sem problemas nossos ambientes Google Cloud e Azure. Sem a necessidade de movimentação ou duplicação de dados, agora podemos aproveitar o Databricks no Azure para executar cargas de trabalho Python e SQL diretamente nos dados do BigQuery, tudo isso enquanto nos beneficiamos da governança refinada do Unity Catalog. É um divisor de águas para nossa estratégia multicloud, simplificando operações e aprimorando análises 

— Lisa Fiege, Engenheira de Ciência de Dados, Taylor Farms

O conector Google BigQuery agora está geralmente disponível a partir da versão DBR 16.1 e em breve estará disponível no Databricks SQL.

Prévia Pública para Conectores Teradata e Oracle

Além do anúncio de GA para BigQuery, a Databricks também está introduzindo conectores Teradata e Oracle na Prévia Pública. Esses novos conectores permitirão aos usuários estender o alcance da Federação Lakehouse para ainda mais fontes de dados, unificando ainda mais os conjuntos de dados.

Começar

Leia nossa documentação para começar a usar os conectores da Federação Lakehouse para Google BigQuery, Oracle e Teradata:

• Google BigQuery (AWS, Azure, GCP)
• Teradata (AWS, Azure, GCP)
• Oracle (AWS, Azure, GCP)

(This blog post has been translated using AI-powered tools) Original Post