Você está pronto? Desbloqueando Databricks para usuários de R em 2025
Summary
Databricks está aprimorando a experiência do usuário de R em 2025 com:
- Um Guia abrangente do Desenvolvedor R para Databricks, cobrindo conceitos fundamentais, tutoriais e tópicos avançados como operar aplicativos Shiny na plataforma.
- O pacote brickster no CRAN, oferecendo wrappers para a API REST do Databricks, funções utilitárias e integrações com o RStudio para melhorar o fluxo de trabalho.
- Suporte expandido ao ecossistema, incluindo pacotes como odbc, sparklyr, mall, pins, orbital, chattr, ellmer e pal, fornecendo funcionalidades aprimoradas para operações de dados e interações de modelos de IA no Databricks.
Ao darmos as boas-vindas ao novo ano, estamos entusiasmados em anunciar vários novos recursos para usuários de R no Databricks: um guia completo para desenvolvedores, o lançamento do brickster no CRAN, guias de migração do SparkR para o sparklyr, e o aumento do suporte para Databricks no ecossistema R - especialmente em IA generativa, graças à nossa forte parceria contínua com a Posit.
Guia do Desenvolvedor R para Databricks
Para usuários de R, criamos o Guia do Desenvolvedor R para Databricks. Este guia fornece instruções sobre como realizar seus fluxos de trabalho habituais de R no Databricks e escalá-los usando as capacidades da plataforma. Para administradores, oferece melhores práticas para gerenciar uma infraestrutura segura e econômica, adaptada às necessidades e preferências dos usuários de R.
O guia é organizado de forma sistemática, começando com os conceitos fundamentais e a arquitetura da Plataforma de Inteligência de Dados Databricks, seguido por um tutorial prático para dar vida a esses conceitos. Ele fornece instruções detalhadas para configurar seu ambiente de desenvolvimento, seja usando o editor de código Databricks ou IDEs como RStudio, Positron ou VS Code, com seções sobre ferramentas de desenvolvimento e gerenciamento de pacotes. Em seguida, ele explora a escalabilidade do código R usando Apache Spark™ e Databricks Workflows. O guia conclui com tópicos avançados, incluindo a operação de aplicativos Shiny no Databricks.
brickster
brickster é o pacote R construído para desenvolvedores R por um desenvolvedor R - agora no CRAN!
brickster envolve APIs REST do Databricks que são de maior interesse para os usuários R, como Workflows do Databricks, operações de sistema de arquivos e gerenciamento de cluster. Também inclui um rico conjunto de funções utilitárias e integrações com o RStudio, trazendo o Databricks até você. Está bem documentado com vinhetas para automação de trabalho e gerenciamento de cluster, e exemplos para cada função.
Vamos considerar dois exemplos de como o brickster pode trazer o Databricks para o RStudio. Primeiro, a função open_workspace() permite que você navegue pelo Workspace do Databricks diretamente do Painel de Conexões do RStudio:
Em segundo lugar, para a experiência de desenvolvimento mais imersiva, confira a função db_repl(). Ela cria um REPL (read-eval-print loop) local onde cada comando é executado remotamente no Databricks no idioma de sua escolha.
Seja você um novato ou um usuário avançado, se trabalha com Databricks a partir de uma IDE, experimente o brickster - vale a pena.
Guia de depreciação e migração do SparkR para sparklyr
SparkR e sparklyr são ambos pacotes R projetados para trabalhar com o Apache Spark™, mas diferem significativamente em design, sintaxe e integração com o ecossistema R mais amplo. Essa complexidade pode ser confusa para usuários de R novos no Spark, então, a partir do Apache Spark™ 4.x, o SparkR será descontinuado, e o sparklyr se tornará o único pacote recomendado. Para auxiliar os usuários na migração de código de um para o outro, compilamos outro guia que ilustra as diferenças entre cada pacote, incluindo muitos mapeamentos de funções específicas.
Você pode encontrar o guia no GitHub aqui.
Suporte do Databricks no ecossistema R
Além do brickster, o ecossistema R mais amplo está aumentando o suporte para trabalhar com Databricks.
| Pacote | Suporte para Databricks |
|---|---|
| odbc | A nova função odbc::databricks() simplifica a conexão com os Armazéns SQL (veja aqui para mais). |
| Sparklyr | Funciona com Databricks Connect V2, e com o SparkR sendo descontinuado no Spark 4.0, sparklyr se tornará o pacote principal para usar Spark em R. |
| mall | Permite que você chame as Funções de IA do Databricks SQL a partir do R. Exemplo de uso aqui. |
| pinos | Pins com suporte a UC Volume! Integração perfeita com o pacote pins. |
| orbital | Execute tidymodels previsões em Spark DataFrames |
| chattr | Suporte adicionado para a API de Modelos de Fundação Databricks (veja aqui para mais). |
| ellmer | Interface simples para chats com modelos de base hospedados no Databricks ou modelos disponíveis através do AI Gateway. |
| pal | Fornece uma biblioteca de assistentes ergonômicos LLM projetados para ajudá-lo a completar tarefas repetitivas e difíceis de automatizar rapidamente. Qualquer modelo suportado por ellmer é suportado por pal.(GitHub) |
O que vem a seguir
Ao entrarmos em um novo ano, o futuro para os usuários de R no Databricks nunca pareceu tão promissor. Com o lançamento do Guia Completo para Desenvolvedores R, a introdução do poderoso pacote brickster, e um ecossistema de ferramentas R em constante expansão que suportam o Databricks, nunca houve um momento melhor para explorar, construir e escalar seu trabalho de dados e IA na plataforma. Queremos agradecer especialmente à Posit por seu contínuo apoio ao ecossistema R no Databricks - espere ver mais coisas incríveis dessa parceria nos próximos meses. Um brinde a um ano produtivo e inovador pela frente!
(This blog post has been translated using AI-powered tools) Original Post
