CDC 파이프라인과 델타

이 데모에서는 Spark API와 Delta Lake를 사용하여 CDC (변경 데이터 캡처) 흐름을 구현하는 방법을 강조합니다.

CDC는 일반적으로 Fivetran, Debezium 등의 도구를 사용하여 외부 시스템(ERP, SQL 데이터베이스)에서 변경 사항을 수집하는 방식으로 수행됩니다.

이 데모에서는 CDC 정보를 소비하는 테이블을 다시 만드는 방법을 보여드리겠습니다.

결국, 우리는 여러 개의 들어오는 폴더를 프로그래밍 방식으로 스캔하고 각 CDC 테이블마다 N 스트림을 트리거하는 방법을 보여드릴 것입니다.

CDC가 Delta Live Tables (DLT)를 사용하면 더 쉬워집니다. 우리는 DLT CDC 데모를 시도해 보시는 것을 추천합니다!

 

데모를 설치하려면 무료 Databricks 워크스페이스 를 받아 Python 노트북에서 다음 두 명령을 실행하세요

Dbdemos는 여러분의 작업 공간에 완전한 Databricks 데모를 설치하는 Python 라이브러리입니다. Dbdemos는 노트북, Delta Live Tables 파이프라인, 클러스터, Databricks SQL 대시보드, 웨어하우스 모델 등을 로드하고 시작합니다... dbdemos 사용 방법을 확인해 보세요

 

Dbdemos는 GitHub 프로젝트로 배포됩니다.

자세한 내용은 GitHub의 README.md 파일 을 참조하고 문서를 따르십시오.
Dbdemos는 그대로 제공됩니다. 자세한 정보는 라이센스 와 공지 를 참조하십시오.
Databricks는 dbdemos와 관련 자산에 대한 공식 지원을 제공하지 않습니다.
문제가 발생한 경우 티켓을 열어주시면 데모 팀이 최선을 다해 살펴볼 것입니다.