Ir para o conteúdo principal

Advanced Data Engineering with Databricks - Portuguese BR

Neste curso, os alunos aproveitarão seu conhecimento existente de Apache Spark, transmissão estruturada e Delta Lake para desbloquear todo o potencial do data lakehouse utilizando o conjunto de ferramentas fornecido pela Databricks. Este curso dá grande ênfase aos projetos que favorecem o processamento incremental de dados, permitindo que sistemas otimizados consumam e analisem continuamente dados cada vez maiores. Ao projetar cargas de trabalho que aproveitam otimizações de plataforma integradas, os engenheiros de dados podem reduzir a carga de manutenção de código e as emergências de plantão e adaptar rapidamente o código de produção a novas demandas com refatoração ou tempo de inatividade mínimos.


Você deve dominar os tópicos deste curso antes de prestar o exame Databricks Certified Data Engineer Professional.


Languages Available: English | 日本語 | Português BR | 한국어

Skill Level
Professional
Duration
16h
Prerequisites

Pré-requisitos

    • Experiência no uso de APIs PySpark para realizar transformações avançadas de dados
    • Familiaridade na implementação de classes com Python
    • Experiência usando SQL na produção de data warehouse ou nas implementações de data lake
    • Experiência trabalhando nos notebooks Databricks e configurando clusters
    • Familiaridade com a criação e manipulação de dados em tabelas Delta Lake com SQL

Os pré-requisitos listados acima podem ser apreendidos através dos cursos conduzidos por instrutor Data Engineering com o Databricks e Apache Spark Programming com o Databricks (podem ser feitos em qualquer ordem) e validados através dos exames de certificação Databricks Certified Data Engineer Associate e Databricks Certified Associate Developer for Apache Spark.

Outline

Visão geral do curso

  • Dia 1

    • A arquitetura lakehouse

    • Otimização do armazenamento de dados

    • Entendendo as transações do Delta Lake

    • Isolamento do Delta Lake com simultaneidade otimista

    • Padrões de design de transmissão

    • Clone para desenvolvimento e backup de dados

    • Auto Loader e padrões de ingestão bronze

    • Desduplicação da transmissão e imposição da qualidade

    • Dimensões que mudam lentamente

    • Junções e estado da transmissão

  • Dia 2

    • Views armazenadas e materializadas

    • Armazenando dados com segurança

    • Concessão de acesso privilegiado a PII

    • Exclusão de dados no lakehouse

    • Orquestração e agendamento com jobs multitarefas

    • Monitoramento, registro em log e tratamento de erros

    • Promoção de código com Databricks Repos

    • Interações programáticas da plataforma (CLI e REST API do Databricks)

    • Gerenciamento de custos e latência com cargas de trabalho de transmissão

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Register now

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Register now

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Career Workshop

Career Workshop/

March 20

Careers at Databricks

We're on a mission to help data teams solve the world's toughest problems. Will you join us?
Advance my career now

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.