O Databricks Unity Catalog é a única solução de governança unificada e aberta do setor para dados e IA, integrada à Databricks Data Intelligence Platform. Com o Unity Catalog, as organizações podem governar perfeitamente dados estruturados e não estruturados em qualquer formato, bem como modelos de machine learning, notebooks, dashboards e arquivos em qualquer cloud ou plataforma. Cientistas de dados, analistas e engenheiros podem descobrir, acessar e colaborar com segurança em dados confiáveis e ativos de IA em todas as plataformas, aproveitando a IA para aumentar a produtividade e desbloquear todo o potencial do ambiente do lakehouse. Essa abordagem unificada e aberta de governança promove a interoperabilidade e acelera as iniciativas de dados e AI, ao mesmo tempo que simplifica a compliance regulatória.
“O Databricks Unity Catalog agora é parte integrante da PepsiCo Data Foundation, nosso sistema global centralizado que consolida mais de 6 petabytes de dados em todo o mundo. Ele simplifica o processo de integração de mais de 1.500 usuários ativos e permite a descoberta unificada de dados para nossas mais de 30 equipes de produtos digitais em todo o mundo, oferecendo suporte a aplicativos de inteligência de negócios e inteligência artificial.”
— Bhaskar Palit, diretor sênior, dados e analítica
Como funciona
Visibilidade unificada dos dados e da IA
Descubra e classifique facilmente dados estruturados e não estruturados em qualquer formato, incluindo modelos de machine learning, notebooks, dashboards e arquivos em todas as plataformas de cloud. Gerencie, governe e consulte dados de bancos de dados externos e data warehouses como MySQL, PostgreSQL, Amazon Redshift, Snowflake, Azure SQL, Azure Synapse, Google BigQuery e catálogos como HMS e AWS Glue num só lugar. Acelere suas iniciativas de dados e IA com um único ponto de acesso para exploração de dados. Aumente a produtividade com pesquisa inteligente, descoberta e percepções e documentação de dados gerados automaticamente.
✔ Modelo de permissão única para dados e IA
Simplifique o gerenciamento de acesso com uma interface unificada para definir políticas de acesso em dados e ativos de IA e aplicar e auditar essas políticas de forma consistente em qualquer cloud ou plataforma de dados. Acesse com segurança dados de outras plataformas de compute usando interfaces abertas, com permissões consistentes gerenciadas num só lugar. Aumente a segurança com o controle refinado de linhas e colunas e, ao mesmo tempo, gerencie com eficiência o acesso por meio de pol íticas de acesso baseadas em atributos de baixo código que podem ser dimensionadas sem problemas.
✔ Monitoramento e observabilidade baseados em IA
Aproveite o poder da IA para automatizar o monitoramento, diagnosticar erros e manter a qualidade dos dados e do modelo de ML. Beneficie-se de alertas proativos que detectam automaticamente dados de informações de identificação pessoal (PII), rastreiam o drift do modelo e resolvem efetivamente problemas em seus pipelines de dados e IA para manter a precisão e a integridade. Simplifique a depuração, a análise de causa raiz e a avaliação de impacto com linhagem de dados automatizada em nível de coluna. Obtenha uma observabilidade abrangente de seus dados e IA com inteligência operacional usando tabelas de sistema integradas para cobrança, auditoria, linhagem e muito mais.
Acessibilidade aberta
Acesse com segurança seus dados e ativos de IA de qualquer mecanismo de compute usando APIs abertas e interfaces padrão. Compartilhe dados e ativos de IA em clouds, regiões e plataformas com o Delta Sharing de código aberto. Colabore com segurança com qualquer pessoa, em qualquer lugar, para desbloquear novos fluxos de receita e gerar valor comercial, sem depender de formatos proprietários, processos de ETL complexos ou replicação de dados dispendiosa.
"O Unity Catalog nos permitiu criar uma view unificada do nosso patrimônio de dados, simplificando a colaboração entre as equipes no BlackBerry. Agora, temos uma abordagem padrão para gerenciar permissões de acesso e auditar arquivos ou tabelas em nosso lake, com a capacidade de definir controles de acesso refinados em linhas e colunas. A linhagem de dados automatizada nos ajudou a ver de onde vêm os dados para identificar a fonte de uma possível ameaça e entender quais projetos ou equipes de pesquisa estão aproveitando os dados para detectar ameaças."
“Com o Unity Catalog, a capacidade de gerenciar tabelas e até o acesso ao Amazon S3 de forma mais parecida com um banco de dados tradicional nos permite ter um controle de acesso muito mais refinado do que antes. Também temos uma linhagem mais documentada para nossos pipeline e um metastore em nível de account. Toda essa granularidade é a razão pela qual migramos do Hive metastore.”
“O Unity Catalog melhorou a governança, aumentou a utilização de datasets e tornou os dados acessíveis a sistemas e clientes externos de uma forma cuidadosa. Isso permitiu à empresa organizar mais de 150.000 tabelas e atribuir permissões de forma eficaz, além de tornar obsoletos cerca de 70% dos recursos personalizados de infraestrutura em nuvem da arquitetura RBAC anterior."
Integrações
O Unity Catalog funciona com seus catálogos de dados existentes, sistemas de armazenamento de dados e soluções de governança: você preserva seus investimentos existentes enquanto cria um modelo de governança preparado para o futuro, sem os altos custos de uma migração.
