Anunciando a Federação de Tokens OIDC para Segurança Avançada no Compartilhamento Delta

Estamos animados para apresentar a Prévia Pública do Federação de Tokens OIDC para Segurança Avançada no Compartilhamento Delta, uma grande melhoria de segurança e usabilidade para quando compartilhado com destinatários que não usam Databricks. Com este lançamento, fornecedores de dados podem compartilhar dados de forma segura com usuários não-Databricks em qualquer plataforma de computação que preferem autenticar usando um Provedor de Identidade personalizado (IdP), como Azure Entra ID ou Okta. Isso elimina a necessidade de credenciais estáticas, aumenta a segurança e permite controle de acesso refinado—garantindo que apenas os usuários ou máquinas corretos tenham acesso aos dados compartilhados.

5 Benefícios da Federação Segura de Tokens OpenID Connect

Delta Sharing é a primeira abordagem de código aberto da indústria para compartilhamento de dados entre dados, análises e IA. Isso significa que você não está preso a nenhum fornecedor ou plataforma específica. O Delta Sharing da Databricks permite dois tipos de compartilhamento: Compartilhamento com destinatários não-Databricks e Compartilhamento com destinatários Databricks (também conhecido como Compartilhamento D2D). Confira no blog "Como o Compartilhamento Delta permite uma colaboração segura de ponta a ponta" para mais detalhes sobre ambos os tipos de compartilhamento. Se você está compartilhando dados com outro cliente Databricks em sua conta Databricks, você já pode usar o Compartilhamento D2D, que proporciona uma experiência integrada e contínua dentro do ecossistema Databricks.

Por outro lado, ao compartilhar de forma segura com usuários externos que não estão no Databricks, o Compartilhamento Delta sempre ofereceu uma maneira simples e rápida de compartilhar dados usando tokens de portador. No entanto, para usuários não-Databricks que priorizam segurança avançada, a Federação de Tokens OIDC para Segurança Avançada oferece um mecanismo de autenticação mais robusto e flexível. Esta abordagem minimiza os riscos de exposição e garante uma colaboração segura.

Principais benefícios do uso da Federação de Tokens OIDC ao compartilhar com usuários não-Databricks em qualquer plataforma de computação:

1. Identidades Gerenciadas pelo IdP: Os clientes podem usar seus Provedores de Identidade atuais (como Entra ID ou Okta) para autenticação, evitando a necessidade de configurar novos sistemas ou processos.
2. Controle de Acesso do Usuário em Detalhes: Os clientes obtêm controle preciso sobre quem pode acessar os dados, garantindo que apenas as pessoas ou sistemas corretos tenham permissões.
3. Suporte à Autenticação de Múltiplos Fatores (MFA): Se o Provedor de Identidade suportar Autenticação de Múltiplos Fatores (MFA), ele adiciona uma camada extra de proteção, garantindo que apenas usuários autorizados acessem os dados compartilhados.
4. Redução de Riscos de Segurança: Tokens de curta duração expiram automaticamente, minimizando a chance de acesso não autorizado sem a necessidade de intervenção manual.
5. Sem Segredos Compartilhados: Elimina a necessidade de distribuir credenciais estáticas entre Databricks, fornecedores e destinatários.

Como funciona a Federação de Tokens OIDC ao compartilhar com destinatários que não usam Databricks?

Com a Federação de Tokens OIDC ao compartilhar com destinatários não-Databricks, cada destinatário do Compartilhamento Delta é configurado com políticas de federação, garantindo que apenas usuários ou máquinas autorizados possam acessar os dados compartilhados. Veja como funciona:

1. Configurando o Acesso para Destinatário Não-Databricks

• O provedor de dados (usuário Databricks) configura uma política de Federação de Tokens OIDC para o destinatário, especificando seu IdP externo (por exemplo, Entra ID, Okta).
• A política define quais usuários, aplicações ou sistemas do sistema de identidade do destinatário têm permissão para acessar os dados compartilhados.

2. Autenticação Segura com Tokens de Curta Duração

1. Quando o destinatário tenta acessar os dados compartilhados, o Conector de Compartilhamento Delta autenticará em seu nome contra seu IdP configurado (por exemplo, Entra ID ou Okta).
2. Após uma autenticação bem-sucedida, o sistema de identidade cria um passe digital temporário, chamado Token Web JSON (JWT), que inclui informações sobre quem eles são. Isso é compartilhado com o Conector de Compartilhamento Delta.
3. O Conector de Compartilhamento Delta combinará o token JWT emitido pelo IdP junto com a solicitação de Compartilhamento Delta e o enviará para o Servidor de Compartilhamento Delta da Databricks.
4. O Compartilhamento Delta da Databricks validará o JWT contra a política do destinatário e corresponderá às regras definidas pelo fornecedor de dados, como verificar quem o emitiu, para quem é e quem está solicitando acesso.
5. Após uma autenticação bem-sucedida, o servidor Delta Sharing da Databricks compartilha os dados solicitados.
6. O Cliente de Compartilhamento Delta, por sua vez, o retorna ao fluxo de trabalho do destinatário.

Esta abordagem elimina a necessidade de segredos compartilhados. Em vez disso, utiliza tokens de autenticação temporários que expiram rapidamente e permite um controle preciso sobre quem ou o que (um usuário específico ou máquina) pode acessar os dados.

Três Cenários de Autenticação Suportados

A abordagem de Federação de Tokens OIDC suporta tanto os fluxos de autenticação Usuário-para-Máquina (U2M) quanto Máquina-para-Máquina (M2M), possibilitando uma ampla gama de casos de uso.

1. Autenticação de Usuário para Máquina (U2M)

• Um usuário humano da organização receptora se autentica por meio de seu IdP.
• Se a Autenticação de Múltiplos Fatores (MFA) estiver habilitada no IdP do destinatário ou do fornecedor, ela será aplicada.
• O usuário pode então usar ferramentas como Power BI ou Tableau para acessar e analisar os dados compartilhados facilmente.
• O provedor de dados pode definir regras para permitir o acesso apenas a pessoas ou grupos específicos, garantindo um controle rigoroso sobre quem obtém acesso.

Esta demonstração mostra como compartilhar dados de forma segura do Databricks para o Power BI com autenticação EntraID

2. Autenticação de Máquina para Máquina (M2M)

O Compartilhamento Delta agora suporta duas maneiras seguras para máquinas destinatárias não-Databricks se autenticarem automaticamente:

Cenário 1: Fluxo de Concessão de Credenciais do Cliente OAuth

• A organização destinatária ou fornecedora registra um Principal de Serviço em seu IdP. Um principal de serviço é como uma "identidade de usuário" para aplicações ou sistemas automatizados, permitindo que eles acessem recursos de forma segura sem a necessidade de um humano fazer login.
• Nenhuma credencial é compartilhada externamente entre Databricks, Provedor ou Receptor, e o gerenciamento de segredos é local - tudo permanece seguro dentro de cada organização.
• Suporte para Cliente de Compartilhamento Delta Python e Cliente de Compartilhamento Delta Spark garante que os destinatários possam acessar os dados compartilhados por meio de scripts/automação.

Esta demonstração mostra como compartilhar dados de forma segura da Databricks para o Cliente Delta Sharing Python usando OAuth Client Credentials Grant

Cenário 2: Autenticação de Identidade Gerenciada (Em Breve)

• Para cargas de trabalho executadas em ambientes de nuvem (por exemplo, VMs Azure), a autenticação ocorre automaticamente usando identidades gerenciadas.
• Não são necessários segredos ou gerenciamento manual de credenciais.
• O suporte inicial se concentrará em Computação Azure, com possível expansão para outros provedores de nuvem.

Esta demonstração mostra como compartilhar dados de forma segura do Databricks para o Cliente de Compartilhamento Delta Python usando Identidade Gerenciada do provedor de nuvem

Escolhendo o Provedor de Identidade:

Os clientes podem optar por autenticar usando um Provedor de Identidade Externo (gerenciado pelo destinatário) ou um Provedor de Identidade Interno (gerenciado pelo provedor).

• Provedor de Identidade Externo (Gerenciado pelo Receptor): O sistema de identidade do receptor (como Entra ID ou Okta) é usado. O provedor configura na política de compartilhamento, então o receptor controla quem de sua organização pode acessar os dados.
• Provedor de Identidade Interno (Gerenciado pelo Provedor): O sistema de identidade do provedor é utilizado. O provedor gerencia a autenticação adicionando destinatários externos como convidados em seu próprio sistema de identidade. Isso permite que o sistema do provedor gerencie o acesso em nome do destinatário.

O que vem a seguir?

Vamos facilitar a configuração de compartilhamento de dados seguro com modelos pré-construídos para Políticas de Federação OIDC comuns adaptadas para provedores de identidade populares como Entra ID e Okta. Além disso, o suporte futuro para autenticação de identidade gerenciada permitirá que cargas de trabalho baseadas em nuvem (por exemplo, VMs Azure) se autentiquem sem a necessidade de senhas ou segredos, garantindo uma conexão contínua e segura com os pontos finais de Compartilhamento Delta Databricks.

Começar

Federação de Tokens OIDC para Segurança Avançada ao compartilhar com destinatários não-Databricks está disponível em Visualização Pública hoje para clientes AWS, GCP e Azure. Saiba como o Compartilhamento Delta facilita para as organizações compartilharem dados de forma segura com usuários não-Databricks em qualquer plataforma de computação - sem comprometer a segurança.

(This blog post has been translated using AI-powered tools) Original Post