Advanced Data Engineering with Databricks - Portuguese BR

Este curso serve como um ponto de entrada apropriado para aprender Engenharia de Dados Avançada com Databricks. Abaixo, descreveremos cada um dos quatro módulos de quatro horas incluídos neste curso.

Databricks Streaming and Lakeflow Spark Declarative Pipelines

Este curso oferece uma compreensão abrangente do Spark Structured Streaming e do Delta Lake, incluindo modelos de compute, configuração para leitura de dados em tempo real e manutenção da qualidade dos dados num ambiente de transmissão.

Databricks Data Privacy

Este conteúdo oferece um guia completo para a gestão da privacidade de dados no Databricks. Aborda temas essenciais como a arquitetura do Delta Lake, o isolamento regional de dados, a compliance com o RGPD/CCPA e a utilização do Change Data Feed (CDF). Através de demonstrações práticas e laboratórios interativos, os participantes aprendem a utilizar as funcionalidades do Unity Catalog para proteger dados confidenciais e garantir a compliance, capacitando-os para salvaguardar a integridade dos dados de forma eficaz.

Databricks Performance Optimization

Neste curso, aprenderá como otimizar as cargas de trabalho e o layout físico com o Spark e o Delta Lake, bem como analisar a interface do utilizador do Spark para avaliar o desempenho e depurar aplicações. Abordaremos temas como transmissão, net clustering, data skipping, cache, photons e muito mais.

Automated Deployment with Databricks Asset Bundles

Este curso oferece uma revisão abrangente dos princípios de DevOps e sua aplicação em projetos Databricks. Ele começa com uma visão geral dos principais conceitos de DevOps, DataOps, continuous integration (CI), continuous deployment (CD) e testes, e explora como esses princípios podem ser aplicados a pipelines de engenharia de dados.

Em seguida, o curso se concentra na continuous deployment dentro do processo de CI/CD, examinando ferramentas como a Databricks REST API, o SDK e a CLI para a implantação de projetos. Você aprenderá sobre os Databricks Asset Bundles (DABs) e como eles se encaixam no processo de CI/CD. Você se aprofundará em seus principais componentes, estrutura de pastas e como eles otimizam a implantação em vários ambientes de destino na Databricks. Você também aprenderá como adicionar variáveis, modificar, validar, implantar e executar Databricks Asset Bundles para vários ambientes com diferentes configurações usando a Databricks CLI.

Por fim, o curso apresenta o Visual Studio Code como um Interactive Development Environment (IDE) para criar, testar e implantar Databricks Asset Bundles localmente, otimizando seu processo de desenvolvimento. O curso conclui com uma introdução à automação de pipelines de implantação usando o GitHub Actions para aprimorar o fluxo de trabalho de CI/CD com Databricks Asset Bundles.

Ao final deste curso, você estará apto a automatizar implantações de projetos Databricks com Databricks Asset Bundles, melhorando a eficiência por meio de práticas de DevOps.

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Professional

Duration

16h

Prerequisites

• Capacidade de executar tarefas básicas de desenvolvimento de código utilizando o espaço de trabalho de Engenharia de Dados e Ciência de Dados do Databricks (criar clusters, executar código em notebooks, utilizar operações básicas de notebook, importar repositórios do git, etc.)

• Experiência intermédia em programação com PySpark.

• Extraia dados de uma variedade de formatos de ficheiro e fontes de dados.

• Aplicar uma série de transformações comuns para limpar os dados.

• Remodele e manipule dados complexos utilizando funções avançadas integradas.

• Experiência intermédia em programação com Delta Lake (criar tabelas, executar atualizações completas e incrementais, comprimir ficheiros, restaurar versões anteriores, etc.)

• Experiência de principiante na configuração e agendamento de pipelines de dados utilizando a IU de Delta Live Tables (DLT)

• Experiência de principiante na definição de pipelines Delta Live Tables usando o PySpark.

• Ingerir e processar dados utilizando a sintaxe Auto Loader e PySpark.

• Processar feeds de Change Data Capture com a sintaxe APPLY CHANGES INTO.

• Reveja os registos de eventos e os resultados do pipeline para solucionar problemas de sintaxe DLT.

• Grande conhecimento da plataforma Databricks, incluindo experiência com Databricks Workspaces, Apache Spark, Delta Lake, Medallion Architecture, Unity Catalog, Delta Live Tables e Workflows. Em particular, conhecimento sobre como alavancar expectativas com DLTs.

• Experiência em ingestão e transformação de dados, com proficiência em PySpark para processamento de dados e manipulação de DataFrame. Os candidatos devem também ter experiência na escrita de queries SQL de nível intermédio para análise e transformação de dados.

• Proficiência em programação Python, incluindo a capacidade de desenhar e implementar funções e classes, e experiência na criação, importação e utilização de pacotes Python.

• Familiaridade com as práticas de DevOps, particularmente princípios de continuous integration e continuous delivery/deployment (CI/CD).

• Uma compreensão básica do controlo de versão do Git.

• Curso pré-requisito: Noções básicas de DevOps para Engenharia de Dados.

Upcoming Public Classes

Date	Time	Language	Price
Date	Time	Language	Price	Apr 07 - 08	09 AM - 05 PM (America/Sao_Paulo)	Portuguese - BR	$1500.00

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Registre-se agora

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Registre-se agora

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Analyst

Data Warehousing with Databricks - Portuguese BR

Este curso foi desenvolvido para profissionais de dados que desejam explorar os recursos de Data Warehousing do Databricks. Supondo que não haja conhecimento prévio do Databricks, ele fornece uma introdução ao uso do Databricks como uma solução moderna de Data Warehousing baseada em nuvem. Os alunos explorarão como usar a Databricks Data Intelligence Platform para ingerir, transformar, governar e analisar dados de forma eficiente usando o dataset padrão TCP-DI do setor como referência. Os alunos também explorarão o Genie, um recurso inovador do Databricks que simplifica a exploração de dados por meio de queries em linguagem natural. Ao final deste curso, os participantes serão equipados com as habilidades fundamentais para implementar e otimizar um data warehouse usando o Databricks.

Languages Available: English | 日本語 | Português BR | 한국어

SQL Analytics on Databricks - Portuguese BR

Neste curso, você aprenderá a usar efetivamente a Databricks para análise de dados, com foco específico no Databricks SQL. Como Analista de Dados da Databricks, suas responsabilidades incluirão encontrar dados relevantes, analisá-los para possíveis aplicações e transformá-los em formatos que forneçam percepções de negócios valiosos.

Você também entenderá sua função no gerenciamento de objetos de dados e como manipulá-los na Databricks Data Intelligence Platform, usando ferramentas como Notebooks, Editor SQL e Databricks SQL.

Além disso, você aprenderá sobre a importância do Unity Catalog no gerenciamento de ativos de dados e da plataforma como um todo. Por fim, o curso fornecerá uma visão geral de como o Databricks facilita a otimização de desempenho e ensinará como acessar percepções de query para entender os processos que ocorrem nos bastidores ao executar a analítica SQL no Databricks.

Languages Available: English | 日本語 | Português BR | 한국어

AI/BI for Data Analysts - Portuguese BR

Neste curso, você aprenderá a usar os recursos que o Databricks fornece para as necessidades de business intelligence: Painéis de IA/BI e AI/BI Genie. Como Analista de Dados da Databricks, você terá a tarefa de criar Painéis de IA/BI e AI/BI Genie Spaces dentro da plataforma, gerenciar o acesso a esses ativos pelas partes interessadas e necessárias e manter esses ativos à medida que são editados, atualizados ou desativados ao longo de sua vida útil. Este curso pretende instruir os participantes sobre como projetar painéis para percepções de negócios, compartilhá-los com colaboradores e partes interessadas e manter esses ativos dentro da plataforma. Os participantes também aprenderão a utilizar os AI/BI Genie Spaces para dar suporte à análise de autoatendimento por meio da criação e manutenção desses ambientes alimentados pelo Databricks Data Intelligence Engine.