O Compute Serverless para Notebooks, Workflows e Pipelines agora está Disponível Geralmente no Google Cloud

No cenário em rápida evolução da engenharia de dados e análise, velocidade, escalabilidade e simplicidade são inestimáveis. O compute serverless atende a essas necessidades eliminando a complexidade de gerenciar a infraestrutura, permitindo que você se concentre em construir soluções impactantes baseadas em dados. Estamos entusiasmados em anunciar que o compute serverless para notebooks, Workflows e pipelines DLT agora está disponível geralmente no Google Cloud. Assim, qualquer usuário pode se beneficiar do compute distribuído em todas as principais plataformas de nuvem sem ter que gerenciar uma infraestrutura complexa.

O que é o Databricks Serverless Compute?

O Databricks Serverless Compute é uma camada de execução escalável e segura que simplifica a execução de notebooks, Workflows e Delta Live Tables (DLT) pipelines, eliminando a necessidade de configurar, otimizar e gerenciar clusters. Com o computação serverless, os recursos são provisionados automaticamente, para que você possa:

• Reduza o custo operacional: Não há necessidade de configurar ou gerenciar clusters manualmente.
• Otimize o desempenho ou os custos: Pague apenas pelo processamento quando ele é atribuído a uma carga de trabalho. Atualmente, o Serverless otimiza para desempenho. Em breve, você também poderá selecionar um modo otimizado para custos, que otimiza automaticamente a infraestrutura para reduzir custos.
• Melhorar a produtividade: Escalar cargas de trabalho sem esforço enquanto se concentra em resolver problemas de negócios.

Para orientações detalhadas sobre como aproveitar o cálculo serverless, explore nossas melhores práticas para cálculo serverless.

Monitorando Custos e Uso

O modelo pay-as-you-go do computação serverless é eficiente em termos de custo, mas também existem algumas maneiras fáceis de monitorar métricas de custo e uso para que você possa controlar os gastos no Google Cloud:

• Tabelas do sistema: Consulte dados detalhados de uso para identificar cargas de trabalho e usuários de alto custo.
• AI/BI Painel de Custos: Visualize tendências de uso por espaço de trabalho, SKU ou tag e baixe relatórios para análise posterior.
• Alertas: Configure limites de orçamento para receber notificações quando os gastos excederem seus limites.
• Políticas de orçamento: Imponha requisitos de tag para suas cargas de trabalho.

Para instruções detalhadas, confira nossos guias sobre monitoramento de custos de computação serverless e usando orçamentos para monitorar gastos da conta.

“Os Pipelines DLT Serverless no Google Cloud redefiniram nossa abordagem na Uplight, permitindo-nos executar cargas de trabalho ETL mais de duas vezes mais rápido enquanto mantemos os custos baixos. "A facilidade de uso, auto-otimização e eficiência do cálculo sem servidor tornam a escalabilidade mais gerenciável e nos permitem priorizar a entrega de valor aos nossos clientes."

— Micaela Christopher, Diretora de Ciência de Dados & Engenharia, Uplight

O Google Cloud é um parceiro próximo da Databricks. A colaboração entre as equipes de engenharia resultou em uma integração apertada entre o Compute Engine e o Hyperdisk do Google Cloud e a Plataforma de Inteligência de Dados da Databricks. O resultado é uma infraestrutura altamente performática e eficiente para cargas de trabalho de dados e IA. Os clientes da Databricks podem perceber esses benefícios no Google Cloud, estejam eles usando o Compute Serverless ou o Compute Clássico. Estamos ansiosos para acompanhar a disponibilidade do Databricks Serverless no Google Cloud com suporte total para o Databricks Classic em avançados Processadores Google Axion e VMs C4A nas próximas semanas.

“Estamos animados em trazer o Databricks Serverless Compute para o Google Cloud, o que reforça nosso compromisso com os padrões abertos. Através da nossa parceria, estamos comprometidos em fornecer aos clientes a flexibilidade para escolher as ferramentas que precisam para acelerar a inovação com IA, incluindo acesso aos avançados processadores Axion do Google e máquinas virtuais C4A." 

— Ritika Suri, Diretora Gerente de Parcerias de IA e Dados no Google Cloud.

Desbloqueie o Poder do Processamento Serverless Hoje

O compute serverless da Databricks é mais do que apenas uma solução de infraestrutura; é um potencializador de produtividade que permite às equipes de dados inovar mais rápido. Seguindo as melhores práticas para migração, otimizando a ingestão e monitorando os custos, você pode aproveitar totalmente o potencial da computação serverless mantendo os orçamentos sob controle.

Como administrador de conta, você pode facilmente habilitar o cálculo serverless para Workflows, notebooks e pipelines DLT em Configurações → Habilitação de Recursos, conforme mostrado na captura de tela abaixo.

O Databricks Serverless Compute no Google Cloud oferece velocidade, escalabilidade e simplicidade em uma infraestrutura segura e pronta para IA. Aproveitando a abordagem AI-first do Google e duas décadas de inovação em IA, ele fornece acesso a uma infraestrutura global otimizada para segurança e IA, permitindo sinergias poderosas entre sistemas de IA/ML e armazenamento de dados. Esta plataforma permite que as empresas eliminem silos de dados, aproveitem o aprendizado profundo para otimização e alcancem resultados estratégicos chave. Para saber mais, aprofunde-se em nossa documentação para habilitar a computação serverless e explorar seus recursos poderosos.

(This blog post has been translated using AI-powered tools) Original Post