Data Engineering with Databricks - Korean

이 과정은 Databricks를 사용한 데이터 엔지니어링을 학습하기 위한 적절한 시작점이 되는 입문 과정입니다.

아래에서는 이 과정에 포함된 4개의 4시간짜리 모듈을 각각 설명합니다.

참고: 다음 4개 모듈의 경우, Databricks Academy는 Databricks 환경 내 강의실 세션을 위해 notebook 기반 형식으로 전환하고 있으며, 강의용 슬라이드 덱 사용을 중단합니다. 강의 notebook은 Vocareum lab 환경에서 액세스할 수 있습니다.

1. Data Ingestion with Lakeflow Connect

이 과정에서는 다양한 소스로부터 Databricks로 데이터를 수집하기 위한 확장 가능하고 간소화된 솔루션인 Lakeflow Connect를 종합적으로 소개합니다. 먼저 Lakeflow Connect 커넥터의 다양한 유형(Standard 및 Managed)을 살펴보고 배치, 증분 배치, 스트리밍 수집을 비롯한 여러 데이터 수집 기법을 학습합니다. 또한 Delta table과 Medallion 아키텍처 사용의 주요 이점도 검토합니다.

다음으로, Lakeflow Connect Standard Connectors를 사용하여 클라우드 오브젝트 스토리지에서 데이터를 수집하는 실용적인 기술을 개발합니다. 여기에는 CREATE TABLE AS SELECT (CTAS), COPY INTO, Auto Loader와 같은 방법을 다루며, 각 접근 방식의 이점과 고려 사항에 중점을 둡니다. 또한 Databricks Data Intelligence Platform으로 수집하는 동안 bronze 수준 테이블에 메타데이터 열을 추가하는 방법도 학습합니다. 이어서 rescued data 열을 사용하여 테이블 스키마와 일치하지 않는 레코드를 처리하는 방법과 이러한 데이터를 관리하고 분석하는 전략을 다룹니다. 또한 반정형 JSON 데이터를 수집하고 평면화하는 기법도 살펴봅니다.

그다음에는 Lakeflow Connect Managed Connectors를 사용하여 데이터베이스와 Software-as-a-Service (SaaS) 애플리케이션에서 데이터를 가져오는 엔터프라이즈급 데이터 수집을 수행하는 방법을 살펴봅니다. 또한 파트너 도구를 수집 워크로드에 통합하는 옵션으로 Partner Connect를 소개합니다.

마지막으로, MERGE INTO 작업과 Databricks Marketplace 활용을 비롯한 대체 수집 전략으로 과정을 마무리하며, 최신 데이터 엔지니어링 사용 사례를 지원하는 탄탄한 기반을 갖추게 됩니다.

2. Deploy Workloads with Lakeflow Jobs

Deploy Workloads with Lakeflow Jobs 과정에서는 Databricks 에코시스템 내의 통합 오케스트레이션 플랫폼인 Lakeflow Jobs를 사용하여 데이터, 분석, AI 워크플로를 오케스트레이션하고 자동화하는 방법을 학습합니다.

• 방향성 비순환 그래프(DAG)를 사용하여 데이터 워크로드를 설계 및 구현하고, 다양한 스케줄링 옵션을 구성하며, 조건부 작업 실행, run-if 종속성, for each 루프와 같은 고급 워크플로 기능을 구현하는 방법을 학습합니다.

• 이 과정에서는 적절한 컴퓨트 선택, 모듈식 오케스트레이션, 오류 처리 기법, 내결함성 설계를 갖춘 견고하고 프로덕션에 적합한 파이프라인을 만들기 위한 모범 사례를 다루며, 이 모든 것은 Databricks Data Intelligence Platform에 기본적으로 통합되어 있습니다.

3. Build Data Pipelines with Apache Spark Declarative Pipelines

이 과정에서는 Databricks의 Apache Spark Declarative Pipelines (SDP)를 사용하여 여러 스트리밍 테이블과 구체화된 뷰를 통한 증분 배치 또는 스트리밍 수집 및 처리를 위한 데이터 파이프라인을 구축하는 데 필요한 필수 개념과 기술을 소개합니다. Spark Declarative Pipelines를 처음 접하는 데이터 엔지니어를 위해 설계된 이 과정은 증분 데이터 처리, 스트리밍 테이블, 구체화된 뷰, 임시 뷰와 같은 핵심 구성 요소를 종합적으로 개괄하고 각각의 구체적인 목적과 차이점을 강조합니다.

다루는 주제는 다음과 같습니다.

• SQL을 사용하여 Spark Declarative Pipelines의 다중 파일 편집기로 ETL 파이프라인 개발 및 디버깅(Python 코드 예제 제공)

• Spark Declarative Pipelines가 파이프라인 그래프를 통해 파이프라인 내 데이터 종속성을 추적하는 방식

• 파이프라인 컴퓨트 리소스, 데이터 자산, 트리거 모드 및 기타 고급 옵션 구성

다음으로, Spark Declarative Pipelines의 데이터 품질 기대치(expectations)를 소개하고, 데이터 무결성을 검증하고 적용하기 위해 기대치를 파이프라인에 통합하는 과정을 안내합니다. 이후 학습자는 스케줄링 옵션을 포함하여 파이프라인을 프로덕션에 배포하는 방법과, 파이프라인 성능 및 상태를 모니터링하기 위한 파이프라인 이벤트 로깅 활성화 방법을 살펴봅니다.

마지막으로, 이 과정에서는 Spark Declarative Pipelines 내에서 AUTO CDC INTO 구문을 사용하여 Change Data Capture (CDC)를 구현해 천천히 변화하는 차원(SCD Type 1 및 Type 2)을 관리하는 방법을 다루며, 학습자가 CDC를 자신의 파이프라인에 통합할 수 있도록 준비시킵니다.

4. DevOps Essentials for Data Engineering

이 과정에서는 Databricks로 작업하는 데이터 엔지니어를 위해 특별히 설계된 소프트웨어 엔지니어링 모범 사례와 DevOps 원칙을 살펴봅니다. 참석자는 코드 품질, 버전 관리, 문서화, 테스트와 같은 핵심 주제에 대한 탄탄한 기반을 구축합니다. 이 과정은 DevOps에 중점을 두어 핵심 구성 요소, 이점, 그리고 데이터 엔지니어링 워크플로를 최적화하는 데 있어 지속적 통합 및 배포(CI/CD)의 역할을 다룹니다.

재사용 가능한 구성 요소를 만들고 코드를 효율적으로 구조화하기 위해 PySpark에서 모듈성 원칙을 적용하는 방법을 학습합니다. 실습에는 pytest 프레임워크를 사용하여 PySpark 함수에 대한 단위 테스트를 설계하고 구현한 다음, 신뢰성을 보장하기 위해 Spark Declarative Pipeline 및 Jobs를 사용하여 Databricks 데이터 파이프라인에 대한 통합 테스트를 수행하는 과정이 포함됩니다.

또한 이 과정에서는 지속적 통합 관행을 통합하기 위한 Databricks Git Folders 사용을 비롯하여 Databricks 내의 필수 Git 작업을 다룹니다. 마지막으로 REST API, CLI, SDK, Declarative Automation Bundles (DABs)와 같은 Databricks 자산의 다양한 배포 방법을 개괄적으로 살펴봄으로써 파이프라인을 배포하고 관리하는 기법에 대한 지식을 갖추게 됩니다.

과정을 마치면 소프트웨어 엔지니어링 및 DevOps 모범 사례에 능숙해져 확장 가능하고 유지 관리가 용이하며 효율적인 데이터 엔지니어링 솔루션을 구축할 수 있게 됩니다.

Languages Available: English | 日本語 | Português BR | 한국어 | Español | française