Databricks SQL Ano em análise (Parte III): Experiência do usuário

Este blog dá continuidade à nossa série que analisa os avanços de 2023 do serverless data warehouse Databricks SQL. O melhor data warehouse é um lakehouse, e é por isso que o Databricks SQL (DBSQL) foi desenvolvido com base na arquitetura lakehouse como parte de nossa Data Intelligence Platform. Na parte 3 da nossa série, vamos examinar mais de perto os vários aprimoramentos na experiência do usuário do DBSQL.

Sabemos que uma experiência de usuário simples e otimizada é fundamental para a produtividade do usuário e o sucesso do cliente. O ano passado marcou a introdução do Databricks Assistant com tecnologia de IA, simplificando a experiência do usuário do Databricks SQL com o poder da linguagem natural. Também lançamos uma nova ferramenta de dashboard chamada Lakeview. Exploraremos cinco das áreas que mostram os mais recentes aprimoramentos da experiência do usuário do DBSQL com mais detalhes abaixo.

• Assistente de AI e SQL Editor para escrever SQL
• Assistente de IA para os novos dashboards do Lakeview
• Documentação gerada por IA para seus dados
• ERDs para entender dados e relacionamentos
• fluxo de trabalho e monitoramento para gerenciar workloads

Assistente de IA e editor de SQL para escrever SQL

Introduzimos o Databricks Assistant, um assistente de IA sensível ao contexto que melhora a produtividade do analista e do desenvolvedor, no SQL Editor. O Databricks Assistant aproveita os metadados do Unity Catalog e a IA generativa para fornecer respostas personalizadas às solicitações do usuário e ajuda os usuários a escrever, explicar e depurar consultas em português em vez de SQL. Basta inserir uma pergunta ou instrução como prompt e ver o SQL ser gerado!

Para aqueles que escrevem SQL, as sugestões de preenchimento automático no SQL Editor tiveram vários aprimoramentos. Para agilizar a criação de consultas, os desenvolvedores do SQL agora recebem sugestões de preenchimento de colunas em CTEs e recomendações do join em tabelas comumente unidas. O preenchimento automático também é mais cuidadoso e mais bem ajustado quando fornece recomendações.

Além de aprimorar a experiência de criação de consultas, enviamos uma grade de resultados totalmente nova. Essa nova grade apresenta ícones de tipo de dados aprimorados, pesquisa e filtragem sobre os resultados exibidos e mecânica de seleção revisada que facilita ainda mais o trabalho com resultados tabulares.

Por fim, para os usuários que preferem o paradigma de codificação do Notebook em vez do SQL Editor, o Notebook agora pode se conectar ao endpoint SQL warehouse. As estatísticas de execução de consulta e os perfis de consulta estão disponíveis diretamente no Notebook, permitindo que os usuários que escrevem SQL diagnostiquem problemas de desempenho de consulta no contexto de sua experiência de desenvolvimento interativo.

Assistente de IA para os novos dashboards do Lakeview

Em setembro de 2023, anunciamos a visualização pública dos painéis do Lakeview. Criados com um novo mecanismo de visualização, os painéis do Lakeview oferecem gráficos bonitos e interativos que são renderizados até 10 vezes mais rápido. Esses painéis são fáceis de gerenciar e podem ser compartilhados com segurança com qualquer pessoa em sua organização.

Em seguida, apresentamos o Databricks Assistant for Lakeview com recursos de criação assistida por IA para criar facilmente visualizações do Lakeview usando linguagem natural. Basta digitar uma pergunta ou comando como prompt e aguardar que o Databricks Assistant gere uma resposta com um novo gráfico!

Os painéis podem ser compartilhados com segurança, bastando clicar no link "Publish" (Publicar) no site Share dropdown. Nos bastidores, uma arquitetura de informações simplificada agora agrupa o conjunto de dados subjacente e os widgets, de modo que não há necessidade de se preocupar com permissões fora de sincronia entre as consultas.

Compartilhe o painel com usuários ou grupos, ou com qualquer pessoa em sua organização que não tenha seu próprio Databricks account. Use as configurações de permissão para controlar seu nível de acesso, como view, executar ou editar o painel. Se você editar o painel, o painel publicado permanecerá em vigor até que você decida publicar uma nova versão. Isso torna flexível trabalhar nas alterações enquanto outras pessoas estão usando a versão existente.

Por fim, os painéis do Lakeview exibem a linhagem integrada do Unity Catalog. Isso facilita o rastreamento dos dados até os sistemas de origem e ajuda seus consumidores a confiar na origem das percepções do painel.

Leia mais sobre os painéis de controle do Lakeview aqui e comece hoje mesmo!

Documentação gerada por IA para seus dados

Documentar seus dados é difícil. Em 2023, introduzimos a documentação gerada por IA para ajudar os proprietários de dados a reduzir o ônus da criação e comece hoje mesmo manual de descrições para seus dados. Quando um usuário navega para uma tabela do Unity Catalog que ele possui (ou tem a permissão MODIFY), esse recurso orientado por IA sugere comentários em nível de tabela e coluna com base nos metadados da tabela. Os usuários têm então a opção de aceitar, rejeitar ou editar esses comentários. Saiba mais sobre como esse recurso foi criado.

ERDs para entender os dados e as relações

Os Diagramas de Relacionamento entre Entidades são uma nova adição que torna mais fácil do que nunca encontrar e entender os relacionamentos entre tabelas. Esses diagramas visualizam os relacionamentos primários key e externos key entre tabelas em um gráfico, fornecendo uma representação clara e intuitiva de como as entidades de dados se conectam. Entenda facilmente quais tabelas você pode querer join, ou quais outras tabelas existem que podem ter dados relevantes para suas perguntas analíticas.

Também melhoramos a capacidade dos usuários de procurar alterações e rastrear atualizações em tabelas, aprimorando a experiência da History tab para tabelas no Catalog Explorer. A History tab agora oferece filtragem e classificação de colunas, permitindo que você identifique facilmente conteúdos importantes relacionados. Se os usuários desejarem se aprofundar mais, poderão clicar em novos links para o Notebook e Job para rastrear facilmente as alterações. Essas adições facilitarão o rastreamento eficiente das alterações em seus dados.

Workflows e Monitoring para gerenciamento de workloads

O Databricks SQL faz parte da Databricks Intelligence Platform com recursos para todos os seus workloads de dados e IA. Em 2023, fornecemos integrações em toda a plataforma que facilitaram ainda mais o gerenciamento dos workloads de seu data warehouse.

Databricks SQL agora está integrado ao Databricks Workflows, um serviço de orquestração totalmente gerenciado que permite definir, gerenciar e monitorar facilmente o fluxo de trabalho multitarefa. Essa integração permite que você adicione suas consultas DBSQL, painéis e alertas ao seu fluxo de trabalho (Job)! Você também pode visualizar os detalhes de execução de Jobs anteriores e usar o recurso de linhagem do Unity Catalog para identificar o pipeline upstream do qual seu SQL ativo depende.

Também introduzimos uma página de monitoramento de warehouse que oferece aos administradores acesso em tempo real a métricas essenciais, como consultas ativas, em execução e em fila, além de clusters ativos. Gráficos intuitivos agora mostram os horários de pico para enfileiramento e execução de consultas em um visual fácil de entender, permitindo uma administração mais precisa do warehouse. O histórico de consultas também foi integrado a essa página para que você possa ver facilmente a lista de consultas executadas apenas nesse warehouse. Para cada consulta, você obtém uma visão geral das principais estatísticas de execução, como bytes lidos ou linhas retornadas. Você também pode acessar o perfil da consulta para obter detalhes sobre os vários operadores envolvidos na execução da consulta, o que pode ajudá-lo a diagnosticar e melhorar o desempenho da consulta.

Além disso, introduzimos uma tabela de sistema para eventos de warehouse que fornece percepções detalhadas das operações de warehouse. Esta tabela funciona como um log, detalhando os eventos começar/parar e escala up/down, o que é fundamental para entender o tempo de atividade e os custos associados. Os usuários podem configurar recursos de alerta personalizados em cima desses warehouse para identificar proativamente problemas, como warehouse funcionando fora do horário comercial normal.

Conclusão

2023 foi um grande ano para a Databricks SQL com foco em elevar a experiência do usuário para o nosso data warehouse com assistentes baseados em IA, novas visualizações de dashboards e uma série de novos recursos que facilitam a compreensão dos dados pelos usuários, a criação de consultas e a inspeção do desempenho.

Para saber mais sobre o data warehousing com IA e ver demonstrações dos assistentes de IA em ação com o Databricks SQL, confira nosso recente webinar.

Se você deseja migrar seus workloads SQL para uma solução de alto desempenho, serverless data warehouse com uma excelente experiência do usuário, então Databricks SQL é a solução - experimente-a gratuitamente.