Anunciando controle de saída para cargas de trabalho sem servidor e de serviço de modelo

Estamos animados em anunciar que o controle de saída para cargas de trabalho sem servidor do Databricks e Mosaic AI Model Serving está disponível em Visualização Pública na AWS e Azure! Agora você pode configurar políticas para controlar centralmente o acesso de saída de cargas de trabalho sem servidor em vários produtos e espaços de trabalho. 

O controle de saída sem servidor permite que você se beneficie da agilidade e eficiência de custo das ofertas sem servidor do Databricks, protegendo contra a exfiltração de dados para destinos não autorizados. Com este lançamento, o suporte ao controle de saída sem servidor inclui Model Serving, Notebooks, Workflows, pipelines Delta Live Tables (DLT), Monitoramento Lakehouse, Databricks SQL e Databricks Apps.

Benefícios do controle de saída sem servidor do Databricks

Melhore a segurança dos dados

O controle de saída sem servidor ajuda a reduzir as chances de transferências de dados não autorizadas do seu ambiente seguro Databricks. Ao definir políticas de saída, você pode diminuir o risco de dados serem roubados ou compartilhados inadequadamente. Dessa forma, você garante que seus dados sejam enviados apenas para locais externos aprovados, seja na internet ou dentro do seu ambiente em nuvem.

Minimize os custos de transferência de dados não intencionais

Transferências de dados não monitoradas para a internet podem rapidamente levar a cobranças de saída inesperadamente altas. Agora, você pode prever e gerenciar melhor seus custos de rede, garantindo que os dados sejam enviados apenas para destinos autorizados.

Garanta a conformidade regulatória

Para indústrias com requisitos rigorosos de governança e conformidade de dados, como finanças, saúde ou governo, garantir que os dados sejam processados apenas em ambientes compatíveis é inegociável. O controle de saída sem servidor pode garantir que os dados sejam processados apenas em um ambiente isolado da internet e de pontos de rede não autorizados, ajudando você a atender aos seus objetivos de conformidade.

"Na Abacus Insights, nossa missão de simplificar o gerenciamento de dados e análises para a saúde exige estrita conformidade com o HIPAA e o HITRUST. Com o controle de saída sem servidor e o uso de modelos Llama 3 no Mosaic AI Model Serving, podemos garantir que os dados permaneçam em nosso ambiente. Essa abordagem nos permite beneficiar do desempenho e agilidade do cálculo sem servidor para nossos casos de uso de IA, enquanto cumprimos nossas obrigações de segurança e conformidade." – Navdeep Alam, Diretor de Tecnologia, Abacus Insights

Como funciona o controle de egresso serverless?

Configure facilmente políticas de saída granulares 

Você pode configurar o controle de saída sem servidor criando ou atualizando objetos de política de rede no console da conta. Dentro de uma política de rede, você pode definir a postura de saída macro - ou seja, se as cargas de trabalho têm acesso total ou restrito à internet. Para acesso restrito, você pode definir a lista de nomes de domínio totalmente qualificados (FQDN) e recursos de armazenamento em nuvem aos quais as cargas de trabalho têm acesso. 

Uma política se aplica de forma consistente a todos os produtos sem servidor suportados. Para simplificar ainda mais a configuração de regras granulares, o controle de saída sem servidor permite automaticamente o acesso a locais e conexões definidas no Catálogo Unity.

Gerencie centralmente sua postura de saída em escala

Cada conta Databricks tem um default-policy objeto que define a política de rede padrão associada a todos os espaços de trabalho nessa conta. Você pode definir as regras de saída padrão para espaços de trabalho existentes e novos atualizando o default-policy objeto. Ou, você pode substituir a política padrão inteiramente criando um objeto de política de rede adicional e associando-o a um ou mais espaços de trabalho (AWS, Azure).

Assim, você pode gerenciar centralmente a postura em todos os seus espaços de trabalho, criando políticas diferentes para ambientes como produção, desenvolvimento e avaliação. Você pode então associar cada política a todos os espaços de trabalho dentro desse ambiente. 

Audite e depure todas as violações de política.

As políticas de controle de saída sem servidor são aplicadas no momento em que uma conexão é estabelecida. Todas as negações são registradas na tabela do sistema outbound_network dentro do esquema system.access. Abaixo está um exemplo de consulta para listar eventos de negação na última hora:

Aplique com segurança políticas de controle de saída a cargas de trabalho de produção existentes

O controle de saída sem servidor suporta o conceito de um modo de aplicação para a política. O modo de aplicação pode ser definido como “aplicado” ou “teste”.  

No modo forçado, as conexões de saída que violam a política são negadas e a negação é registrada na tabela do sistema outbound_network. No modo de teste, as conexões de saída que violam a política são permitidas, mas a violação é registrada na tabela do sistema network_outbound como uma entrada de teste. 

Você pode definir a política para o modo de teste (anteriormente conhecido como “apenas para registro”) para todos os produtos ou especificamente para os produtos Databricks SQL ou Model Serving. Se você tiver qualquer carga de trabalho Databricks SQL ou Model Serving em produção, recomendamos definir a política para o modo de teste primeiro para reduzir o risco de interromper um ambiente de produção existente.

Introdução 

Os controles de egresso serverless estão disponíveis no nível Enterprise do Databricks na AWS e no nível Premium do Azure Databricks. Você deve ser um administrador de conta Databricks para configurar políticas de controle de egresso serverless. Para instruções detalhadas sobre a configuração de políticas, consulte nossa documentação para AWS e Azure.  

Se você não tem computação sem servidor habilitada em sua conta, você pode seguir estas instruções em AWS ou Azure.  Por favor, revise nossas melhores práticas de segurança no Databricks Security and Trust Center para outras características de segurança da plataforma a serem consideradas como parte de sua implantação. 

Aproveite nossos descontos introdutórios: obtenha 50% de desconto no processamento sem servidor para Jobs e Pipelines e 30% de desconto para Notebooks, até 30 de abril de 2025. Esta oferta por tempo limitado é a oportunidade perfeita para explorar o processamento sem servidor a um custo reduzido.

(This blog post has been translated using AI-powered tools) Original Post