Databricks foi construído como uma plataforma aberta e unificada para lidar com grandes cargas de trabalho de dados a uma fração do custo de outras soluções. Como inovadores no espaço de dados e IA, continuamente impulsionamos a tecnologia para encontrar novas maneiras de aumentar o desempenho, a eficiência e, mais importante, o ROI para nossos clientes.
Somos uma empresa de dados. Queremos que nossos clientes tenham visibilidade de como sua organização está usando nossa plataforma e onde existem oportunidades para maximizar o valor de seus dados e projetos de IA no Databricks.
Vamos percorrer o processo de entender os dados de faturamento e custo nas tabelas de seus sistemas usando nosso Painel de Custos AI/BI pré-construído, organizando seus dados de consumo usando nossas melhores práticas para etiquetagem, e criando orçamentos para gerenciar seus gastos em um nível de organização, unidade de negócios ou projeto.
Provavelmente não é surpresa que o primeiro passo para entender seu uso é acessar dados sobre ele. O Databricks fornece dados de uso na forma de tabelas do sistema, que são um armazenamento analítico hospedado pelo Databricks dos dados operacionais da sua conta. Neste post, vamos nos concentrar no uso de dados nas tabelas do sistema de faturamento.
Conforme o uso da Databricks pela sua empresa cresce, você vai querer dividir os custos por equipe, projeto ou departamento para facilitar a associação dos custos ao valor que eles produzem. Para isso, recomendamos o uso de tags, que permitem criar pares de chave:valor flexíveis. Você pode aplicar tags em clusters, armazéns SQL, trabalhos e cargas de trabalho sem servidor. As tags são a melhor maneira de acompanhar o que está acontecendo no seu ambiente Databricks.
Geralmente é melhor começar com chaves gerais que rastreiam o uso para uma unidade de negócios e um projeto, depois passar para tags mais específicas conforme necessário para apoiar a otimização de seus dados e iniciativas de IA. Pré-defina os valores para cada chave. Use políticas para impor o uso do par chave:valor da tag e controle os valores da tag com a lista predefinida. Então você pode usar seu painel para ver o uso por valor de tag e identificar quais cargas de trabalho ainda não foram marcadas.
As tags podem ser aplicadas usando políticas, que permitem que você exija que novos objetos tenham uma tag. Isso ajudará você a manter a completude e a precisão.
Finalmente, entendemos que você pode não querer passar todo o seu tempo em painéis de gerenciamento de custos e Genie. É por isso que criamos orçamentos. Você pode criar orçamentos para toda a sua organização, espaços de trabalho específicos, ou usar suas tags para atribuir orçamentos a unidades de negócios ou projetos específicos.
Uma vez que você criou seus orçamentos, você pode configurar alertas de email para notificar as pessoas e equipes em sua organização quando o uso delas excede o nível planejado. Então, você pode usar seus painéis para identificar o projeto, a carga de trabalho e/ou o usuário que acionou o uso extra.
Para ajudá-lo a entender rapidamente seus custos, incluímos um painel AI/BI pré-construído que permite visualizar seu uso ao longo do tempo e detalhar seus espaços de trabalho e SKUs. Isso pode ajudá-lo a identificar rapidamente áreas que precisam de sua atenção, como um aumento repentino nos custos do projeto.
Às vezes, os painéis não têm as respostas que você está procurando. AI/BI Genie pode fornecer insights sobre tendências de gastos, anomalias e recomendações de economia de custos através de uma interface de linguagem natural.
Se você não está usando seus dados de faturamento para otimizar seu uso do Databricks, não há melhor momento para começar do que agora. Familiarize-se com seus padrões de uso com nossos painéis integrados, depois comece a desenvolver sua estratégia de gerenciamento de custos usando marcação e orçamentos. Se você precisar de ajuda, peça à sua equipe de conta para configurar uma sessão de aprofundamento em estratégias de gerenciamento de custos.
(This blog post has been translated using AI-powered tools) Original Post