Advanced Data Engineering with Databricks - Korean
이 과정을 통해 수강생은 Apache Spark, Delta Lake 및 Delta Live Tables에 대한 기존 지식을 바탕으로 Databricks에서 제공하는 다양한 도구로 데이터 레이크하우스의 잠재력을 최대로 활용할 수 있습니다. 이 과정에서는 증분 데이터 처리 설계에 중점을 두고, 시스템이 계속 증가하는 데이터를 지속적으로 수집 및 분석하는데 최적화 할 수 있도록 지원합니다. 데이터 엔지니어는 내장된 플랫폼 최적화 기능을 활용하도록 워크로드를 설계함으로써, 코드 유지 관리 및 긴급 상황 대비에 대한 부담을 완화하고 리팩터링이나 가동 중지 시간을 최소화하면서 새로운 요구 사항에 맞게 프로덕션 코드를 신속하게 조정할 수 있습니다.
이 과정의 토픽들은 Databricks 인증 데이터 엔지니어링 전문가 시험 응시 이전에 학습을 완료해야 합니다.
Languages Available: English | 日本語 | Português BR | 한국어
이 과정을 시작하기 전에 최소한 다음 사항에 익숙해야 합니다.
- Databricks Data Engineering & Data Science Workspace를 사용하여 기본 코드 개발 태스크를 수행할 수 있는 능력(클러스터 생성, 노트북에서 코드 실행, 기본 노트북 연산 사용, Git에서 리포지토리 가져오기 등)
- 중급 수준의 PySpark 프로그래밍 경험
- 다양한 파일 형식 및 데이터 소스에서 데이터 추출
- 정제된 데이터에 다수의 일반적인 변환 적용
- 고급 내장 기능을 사용하여 복잡한 데이터의 구조 변경 및 조작
- Delta Lake를 사용한 중급 수준의 프로그래밍 경험(테이블 생성, 전체 업데이트 및 증분 업데이트 수행, 파일 압축, 이전 버전 복원 등)
- Delta Live Tables(DLT) UI를 사용한 초급 수준의 데이터 파이프라인 구성 및 스케줄링 경험
- PySpark를 사용한 초급 수준의 Delta Live Tables 파이프라인 정의 경험
- 오토 로더 및 PySpark 구문을 사용하여 데이터 수집 및 처리
- APPLY CHANGES INTO 구문으로 CDC(Change Data Capture) 피드 처리
- 파이프라인 이벤트 로그 및 결과를 검토하여 DLT 구문 문제 해결
필요 데이터 엔지니어링 스킬은 Databricks Academy에서 Databricks를 이용한 데이터 엔지니어링(Data Engineering With Databricks) 과정을 통해 습득할 수 있습니다.
Outline
1일 차
- 레이크하우스 아키텍처
- 데이터 스토리지 최적화
- Delta Lake 트랜잭션 이해하기
- 낙관적 동시성(Optimistic Concurrency)으로 Delta Lake 격리
- 스트리밍 설계 패턴
- 개발 및 데이터 백업을 위한 복제
- 오토 로더 및 브론즈 수집 패턴
- 스트리밍 중복 제거 및 품질 유지
- 느린 변경 차원(SCD)
- 스트리밍 조인 및 스테이트풀(Stateful)
2일 차
- 저장된(Stored) 뷰 및 구체화된(Materialized) 뷰
- 데이터를 안전하게 저장
- PII에 권한 있는(Privileged) 액세스 부여
- Lakehouse의 데이터 삭제
- 다중 태스크 Job의 오케스트레이션 및 스케줄링
- 오류 모니터링, 로깅 및 처리
- Databricks Repos를 사용하여 코드 승격
- 프로그래밍 방식의 플랫폼 상호작용(Databricks CLI 및 REST API)
- 스트리밍 워크로드의 비용 및 레이턴시 관리
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
Register now
Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
Register now
Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase now
Skills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details
Upcoming Public Classes
Career Workshop/
March 20
