Primeiros passos para adoção do Unity Catalog

Parte I - Conceitos gerais

Este artigo irá explorar os principais conceitos do catálogo de dados Databricks conhecido como Unity Catalog (UC) e trazer uma checklist de implantação mostrando os envolvidos, papéis e responsabilidades bem como cada atividade envolvida no processo de adoção. É composto de duas partes: Conceitos gerais e Guia prático. Boa leitura!

Introdução

Uma grande preocupação de qualquer plataforma de dados é com relação ao gerenciamento de dados e usuários, equilibrando a necessidade de colaboração sem comprometer a segurança. 

Unity catalog é a solução de governança de dados do Databricks para o Lakehouse que permite: 

• Gestão de metadados e usuários de forma centralizada
• Controle de acesso aos dados centralizado
• Data lineage (rastreabilidade e interdependências)
• Auditoria de acesso aos Dados
• Pesquisa de Dados (Data search) Public Preview
• Compartilhamento seguro de dados com Delta Sharing

Ele é o elemento de ligação entre o Workspace e o lakehouse.

Figura 1 - Arquitetura Unity Catalog

Databricks pode ser usado sem Unity Catalog mas quando ativado, acrescenta a capadiade gestão de usuários e metadados centralizada reduzindo esforços dos administradores.

Figura 2 - Comparação da gestão tradicional sem UC versus centralizada com UC

Um workspace combina colaboração e isolamento e pode ser criado para atender uma linha de negócios (LOB) ou unidade de negócios (BU), caso de uso ou até mesmo times de dados (engenheiros, cientistas e analistas). Unity Catalog vai gerenciar os acessos e permissões através de um metastore (repositório de metadados) de cada um dos workspaces criados, ou seja, de maneira centralizada. Graças à automação, a criação de um workspace foi simplificada para poucos minutos! 

Um usuário pode fazer parte de um ou mais workspaces, dependendo dos vários casos de uso para os quais contribuem. Mais importante, seus privilégios, independentemente do workspace ao qual pertencem, permanecem os mesmos. 

Isso permite que as organizações adotem um modelo de governança centralizado que permite que o acesso aos dados seja definido em um repositório central e os usuários ficam livres para serem adicionados aos workspaces. Workspaces podem ser adicionados ou removidos de igual forma.

Temos a oportunidade de gerenciar essa complexidade, reduzindo a proliferação de workspaces/clusters como um mecanismo para segregar dados. Adicionalmente o UC acrescenta um elemento chamado Data Lineage (Azure, Geral) que permite visualizar em um gráfico todas as interdependências de uma tabela até o nível de coluna.

Figura 3 - Gráfico de linhagem de dados da funcionalidade UC Data Lineage

Neste artigo, queremos mostrar de uma maneira simples a jornada do cliente para adotar o Unity Catalog (UC) e Federação de Identidade para atender a essa necessidade de gerenciamento centralizado de usuários e privilégios. .
Ponto de acesso para os usuários da plataforma, sejam analistas, cientistas e engenheiros. Com o UC, todo workspace está associado a um Unity metastore e pode ser usado como primeiro nível de isolamento combinado com catálogos. Todo o controle de acesso é feito por permissões dentro do Unity Catalog. 

Databricks permite automação através de API, CLI ou Terraform para criação e dimensionamento economizando ainda mais tempo e esforço dos administradores.

Apresentando os elementos

Vamos primeiro apresentar todos os elementos. Qualquer produto baseado em SaaS não pode viver isolado e precisa se integrar bem às ferramentas e funções existentes em sua organização. 

Administrador de nuvem e administrador de identidade são funções que existem fora do Databricks e precisam trabalhar em estreita colaboração com a função de administrador de conta (Account Admin - uma função que existe dentro do Databricks) para atingir metas específicas que fazem parte da configuração inicial. Falaremos mais tarde sobre como esses papéis funcionam juntos.

Personas fora da Databricks

Agora vamos nos concentrar nas personas que gerenciam recursos no Databricks. Além das principais funções administrativas apresentadas no artigo de administração de workspaces, existe a possibilidade de funções adicionais como Catalog Admin, Schema Admin e Compute Admin. Algumas organizações podem optar por ir ainda mais granular e criar Administradores de Schemas mas em alguns casos todas essas responsabilidades se concentram em uma única pessoa. A beleza do modelo de Herança de Privilégios é que você pode ir tão amplo ou profundo quanto necessário para atender às necessidades da sua organização. 

Chapéu Databricks - personas de administração

Você vai perceber que recomendamos a criação de um grupo personalizado mesmo quando houver uma função incorporada. Essa é uma prática recomendada geral para incentivar o uso de grupos, o que torna muito mais fácil dimensionar quando se trata de gerenciar permissões nas  unidades de negócios, ambientes e workspaces. Você também pode reutilizar alguns desses grupos que já existem em seu IdP e sincronizá-los com o Databricks, permitindo a organização centralizada do grupo, mantendo a capacidade de criar grupos no nível da conta do Databricks para acesso mais granular. 

Outro conceito importante a ser entendido é que o Principal que cria um objeto protegível torna-se seu proprietário (owner) inicial, e a transferência de propriedade para o grupo apropriado para um objeto protegível, em qualquer nível, é possível e recomendado.

Componentes do Unity Catalog

Nesta seção, vamos listar os componentes e funcionalidades disponíveis no UC.

Figura 4: Organização dos componentes do Unity Catalo

 

A relação de cada componente com o Unity Catalog pode ser melhor compreendida através da imagem a seguir.

Figura 5: Relação dos objetos com Unity Catalog (UC) 

Agora que apresentamos os principais conceitos e fundação do Unity Catalog como solução de gestão centralizada, vamos para a segunda parte onde apresentamos os principais envolvidos, a divisão de trabalho entre eles e um exemplo com guia para te ajudar na implementação.

Parte II - Guia prático

Como vimos na parte I do artigo sobre UC <<link>>, a solução de governança centralizada nos ajuda administrar melhor e habilitar casos de uso para as diferentes áreas de negócios (LOB, BU, Departamento, Times) e ampliar o controle e segurança de cada uma das áreas e usuários. 

Agora que já temos claro os principais conceitos, vamos trazer alguns controles e exemplos para ajudar no entendimento dos papéis, responsabilidades, atividades e referencias.

O primeiro passo é entender por onde começar, as tabelas abaixo mostram qual as primeiras atividades e quem deve ser envolvido na organização.

 

Divisão do trabalho

UC requer estreita colaboração e transferências entre vários administradores. Uma vez que entendemos os componentes, as etapas de configuração podem ser simplificadas utilizando a automação. Vamos entender quem desempenha qual papel na Administração da Plataforma como parte do modelo de responsabilidade compartilhada.

Abaixo trazemos uma tabela simples com as principais atividades no formato de um checklist.

Etapas de preparação

As etapas principais a seguir exigem a colaboração de várias pessoas administrativas com diferentes funções e responsabilidades e precisam ser executadas na seguinte ordem prescrita.

A tabela abaixo foi criada para servir como um ponto de partida, como uma lista de verificação de cada etapa, com a identificação da pessoa responsável por cada atividade (persona) bem como o status de acompanhamento que pode ir sendo atualizado e compartilhado com o time.

A planilha com os cenários pode ser acessada através desse link.

Cenários de exemplo

Analisaremos alguns cenários de exemplo para demonstrar como os usuários em vários workspaces colaboram e como o mesmo usuário tem acesso contínuo aos dados aos quais tem direito, de diferentes workspaces. Alguns usuários criam workspaces por Linha de negócios (LOB) / Unidade de negócios (BU) como um limite de isolamento. Outra demarcação comumente usada é por ambientes para desenvolvimento/sandbox, homologação e produção.

Figura 6: Arquitetura de exemplo de organização de workspaces

Cenário 1: Depto1

Cenário 2: Depto2

Cenário 3: Depto3

Cenário 4: Depto4

Servindo os dados

O Unity Catalog simplifica o trabalho de um administrador (tanto no nível da conta quanto do workspace), centralizando as definições, monitoramento e descoberta de dados no metastore e facilitando o compartilhamento seguro de dados, independentemente do número de workspaces anexados a ele. Nosso modelo pode ser definido como "Defina uma vez, proteja em todos os lugares" tem a vantagem adicional de evitar a exposição acidental de dados no cenário de privilégios de um usuário inadvertidamente em um workspace, o que pode dar a eles uma porta dos fundos para obter dados que não deveriam ser consumidos. Isso pode ser feito facilmente utilizando identidades em nível de conta e gerenciamento de privilégios. O UC Audit Log permite visibilidade total de todas as ações de todos os Principals em todos os níveis e em todos os objetos protegidos.

Figura 7: Modelo de Governança do Catálogo Unity

 

adicionais

Estas são as nossas recomendações para uma experiência melhorada:

• Organize os responsáveis:
  • Configurar SCIM & SSO no nível de conta (Account Level)
  • Criar catalogos por algum dos seguintes métodos: SDLC (dev/prod/…), unidade de negócios ou ambos
  • Crie grupos por unidades de negócios/equipes de dados e atribua-os aos workspaces apropriados (workspaces são conceitualmente efêmeros)
  • Avalie o número de membros necessários em cada um dos grupos de administradores

• Delegue responsabilidades para os responsáveis:
  • Certifique-se de que o administrador da conta, o administrador do metastore, o administrador do catálogo e o administrador do esquema entendam as responsabilidades apropriadas para suas funções. Em alguns casos, essa figura é centralizada em apenas uma pessoa.
  • Sempre use grupos, não indivíduos, como proprietário de objetos (tabela, view, ...), especialmente se for Metastore, Catalogos e schemas.
  • Combine o poder do modelo de herança de privilégios com a capacidade de 'transferir ownership' para democratizar a propriedade de dados.
  • Uma plataforma bem governada envolve uma carga administrativa compartilhada entre essas várias funções e a automação é a chave para construir um padrão repetível enquanto oferece controle.

• Automatize para facilitar a manutenção
  • Fornecemos a receita para um processo de integração simples, mas à medida que você escala para mais usuários, grupos, espaços de trabalho e catálogos, a automação se torna imperativa. A infinidade de opções inclui API, CLI ou o guia completo fornecido por nosso Provedor Terraform (AWS, Azure)

• Migre para ampliar o uso
  • Use Tabelas Externas para migrar de Hive metastore (HMS) para UC, permitindo que você adote o modelo de governança centralizado sem se preocupar com a movimentação de dados.
  • Use SYNC para manter seus objetos sincronizados de HMS para UC.

• Audite para manter a organização
  • Definitivamente, configure o Audit Log
  • Crie um painel sobre os dados do log de auditoria, analise regularmente e crie alertas para ações importantes por meio de um painel SQL do Databricks

Adicionalmente, deixamos uma lista de referências valiosas:

• Introdução ao Unity Catalog - (Azure)

• Instalação do Unity Catalog - (Azure)

• Configurando os Controles de Acesso - (Azure)

• Criando um METASTORE - (Azure)

• Criando CATÁLOGOS - (Azure)

• Criando um Schema (DATABASE) - (Azure)

• Criando uma Tabela (DELTA) - (Azure)

• Práticas recomendadas UC (Azure, AWS)

• Práticas recomendadas para gestão de Identidades (Databricks)