노트북으로 간편하게 DLT 파이프라인 개발하기

작성자: Zoe Durand, Dominic Kramer, Pradeep Gopanapalli Venkata, Dylan Steele, Julia Martin

July 7, 2024 in 엔지니어링 블로그

이 포스트 공유하기

역사상 가장 큰 규모의 Data + AI Summit에서 우리는 데이터 엔지니어링을 위한 통합 지능형 솔루션인 Databricks LakeFlow를 소개했습니다. Delta Live Tables(DLT)와 Workflows를 새로운 통합 솔루션으로 발전시키기 위해 열심히 노력하는 한편, 고객들이 지금 당장 개선된 DLT 경험의 혜택을 누릴 수 있기를 또한 바랍니다.

DLT 개발 경험을 향상시키는 것이 핵심 초점인 이유는 이것이 DLT로 데이터 파이프라인을 구축하는 개발자들의 효율성과 만족도에 직접적인 영향을 미치기 때문입니다. 우리는 노트북을 이용한 DLT 개발 경험의 개선 사항을 발표하게 되어 기쁩니다. 이 새로운 기능들은 원활하고 직관적인 DLT 개발 인터페이스를 제공하며, 빠르고 효율적으로 파이프라인을 구축하고 디버깅할 수 있도록 도와줍니다.

Delta Live Tables (DLT)는 신뢰할 수 있는 데이터 파이프라인의 구축, 테스트, 유지 관리를 단순화하고 가속화하는 혁신적인 프레임워크입니다. 선언적 데이터 엔지니어링과 자동 파이프라인 관리를 제공하여 사용자가 비즈니스 로직 정의에 집중할 수 있게 하는 동시에 의존성 추적, 오류 복구, 모니터링을 처리합니다. 이 강력한 도구는 효율성과 정확성으로 데이터 운영을 최적화하려는 조직에게 획기적인 도구가 될 것이며, 데이터 과학자와 분석가들이 항상 최신의 고품질 데이터에 접근할 수 있도록 보장합니다.

이번 새 릴리스에서는 노트북을 이용한 DLT 개발 경험에 흥미로운 새 기능들을 도입했습니다:

더 이상 컨텍스트 전환이 필요 없습니다: DLT 그래프, 이벤트 로그, 노트북 코드를 단일 컨텍스트 UI에서 볼 수 있습니다.
새로운 "유효성 검사(Validate)" 기능으로 구문 오류를 빠르게 찾을 수 있습니다.
DLT 특화 자동 완성, 인라인 오류 표시, 진단 기능으로 더 쉽게 코드를 개발할 수 있습니다.

컨텍스트 전환 불필요: 하나의 컨텍스트 UI에서 DLT 파이프라인을 개발

이제 SQL Warehouse나 대화형 클러스터에 연결하는 것과 마찬가지로 노트북에서 직접 DLT 파이프라인에 '연결'할 수 있습니다.

DLT 파이프라인에 연결되면 새로운 통합 UI에 액세스할 수 있습니다. 편집 중인 코드와 동일한 UI에서 DLT 그래프(방향성 비순환 그래프 또는 "DAG"라고도 함)와 DLT 이벤트 로그를 볼 수 있습니다.

이 새로운 통합 UI를 사용하면 탭을 전환하지 않고도 필요한 모든 작업을 수행할 수 있습니다! 개발하는 동안 DLT 그래프의 모양과 각 테이블의 스키마를 체크하여 원하는 결과를 얻고 있는지 확인할 수 있습니다. 또한 개발 과정에서 발생하는 오류를 이벤트 로그에서 확인할 수 있습니다.

이는 DLT 파이프라인 개발의 사용성과 편의성을 크게 개선합니다.

오류를 더 빠르게 포착하고 쉽게 DLT 코드 개발

1. "유효성 검사(Validate)"로 구문 오류를 빠르게 포착

"시작(start)" 및 "전체 새로 고침(full refresh)" 바로 옆에 DLT 파이프라인에 대한 "유효성 검사(Validate)" 작업을 도입합니다.

"유효성 검사"를 사용하면 데이터를 처리하지 않고도 파이프라인의 소스 코드에 문제가 있는지 확인할 수 있습니다. 이 기능을 사용하면 파이프라인을 개발하거나 테스트할 때 잘못된 테이블 또는 열 이름과 같은 파이프라인의 오류를 찾고 수정하는 반복 작업을 간편하게 수행할 수 있습니다.

"유효성 검사"는 노트북 UI에서 버튼으로 사용할 수 있으며, "Shift+Enter" 키보드 단축키를 누르면 실행됩니다.