CDC 파이프라인과 델타 라이브 테이블

이 데모는 Delta Live Tables가 CDC (변경 데이터 캡처)를 어떻게 단순화하는지 강조합니다.

CDC는 일반적으로 Fivetran, Debezium 등의 도구를 사용하여 외부 시스템(ERP, SQL 데이터베이스)에서 변경 사항을 수집하여 수행됩니다.

이 데모에서는 CDC 정보를 소비하는 테이블을 다시 만드는 방법을 보여드리겠습니다.

우리는 또한 SCD2 (2형식의 천천히 변하는 차원 테이블)를 구현할 것입니다. 이는 데이터가 순서 없이 도착할 때 구현하기가 정말 까다로울 수 있지만, DLT는 단 한 개의 키워드만으로 이를 매우 간단하게 만듭니다.

결국, 우리는 여러분에게 어떻게 프로그래밍적으로 여러 개의 들어오는 폴더를 스캔하고 N개의 스트림(각 CDC 테이블마다 하나씩)을 트리거하는 방법을 보여드릴 것입니다. 이는 Python을 이용한 DLT를 활용합니다.

 

데모를 설치하려면 무료 Databricks 워크스페이스 를 받아 Python 노트북에서 다음 두 명령을 실행하세요

Dbdemos는 여러분의 작업 공간에 완전한 Databricks 데모를 설치하는 Python 라이브러리입니다. Dbdemos는 노트북, Delta Live Tables 파이프라인, 클러스터, Databricks SQL 대시보드, 웨어하우스 모델 등을 로드하고 시작합니다... dbdemos 사용 방법을 확인해 보세요

 

Dbdemos는 GitHub 프로젝트로 배포됩니다.

자세한 내용은 GitHub의 README.md 파일 을 참조하고 문서를 따르십시오.
Dbdemos는 그대로 제공됩니다. 자세한 내용은 라이센스 와 공지 를 참조하십시오.
Databricks는 dbdemos 및 관련 자산에 대한 공식 지원을 제공하지 않습니다.
문제가 발생한 경우 티켓을 열어주시면 데모 팀이 최선을 다해 살펴보겠습니다.