Databricks Asset Bundles 공개 프리뷰 발표: 소프트웨어 개발 모범 사례를 손쉽게 적용

(번역: Youngkyong Ko) Original Blog Post 

Databricks Asset Bundles(이하 번들)이 공개 프리뷰 버전으로 출시되었음을 알려드리게 되어 기쁘게 생각합니다. 간단히 말해, 번들은 소스 제어, 코드 리뷰, 테스트, 지속적인 통합 및 배포(CI/CD)를 포함한 소프트웨어 엔지니어링 모범 사례를 빠르게 적용할 수 있도록 해줍니다. 번들을 사용하면 데이터 엔지니어, 데이터 과학자 및 ML 엔지니어가 데이터, 분석 및 AI 프로젝트를 소스 파일로 표현할 수 있습니다. 이러한 소스 파일은 레이크하우스에서의 테스트와 배포 방법 등 프로젝트에 대한 완결적인 정의(definition)을 제공합니다. 이 정의는 쉽게 편집, 테스트 및 배포할 수 있습니다.

테스트와 배포 자동화

CI/CD는 테스트 및 배포를 자동화하여 릴리스 주기를 단축하고 오류를 줄이는 데 도움이 되는 최신 소프트웨어 개발의 필수 요소입니다. 프로젝트 배포와 테스트 방법을 기술하는 번들을 구성할 수 있습니다. 번들은 여러 워크스페이스, 리전 및 클라우드에 자동으로 배포할 수 있습니다. 기존 CI/CD 시스템을 사용하여 번들 테스트와 배포를 자동화할 수 있습니다.

IDE로 개발, 테스트, 배포하기

번들은 일반적으로 로컬 IDE와 함께 사용되며 Databricks extension for VS Code과 함께 작동합니다. IDE에서 번들 구성을 위한 자동 완성 기능을 설정하면 번들을 더 쉽게 작성할 수 있습니다. 공동 작업자에게 영향을 주지 않고 개인 복사본을 사용하여 반복적으로 개발할 수 있으며, 프로덕션에 배포하기 전에 Job 또는 DLT 파이프라인과 같은 리소스를 실행할 수 있습니다.

템플릿으로 개발 표준화

기본 템플릿을 사용하거나 사용자 정의 템플릿을 만들어 개발, 스테이징, 프로덕션 작업 공간, 권한, 기본 라이브러리, 서비스 권한주체(service principal), 기본 Apache Spark 구성 등을 설정할 수 있습니다. 번들을 사용하면 이러한 구성을 한 번 설정하고 재사용하여 코드 개발 및 배포를 간소화할 수 있습니다.

시작하기

번들 사용은 아래와 같이 간단한 단계를 거치면 됩니다: 

1. 최신 CLI 설치 
   Homebrew 사용시: brew tap databricks/tap; brew install databricks
   Note: 다른 소프트웨어 패키지 관리자에 대한 지원도 곧 추가할 예정입니다. Homebrew없이 설치하는 방법에 대한 자세한 지침을 참조하세요.
2. 데이터브릭스 인증
   databricks configure
3. 첫 번들 생성과 커스터마이즈
   databricks bundle init
   이렇게 하면 바로 사용할 수 있는 README가 포함된 번들이 생성됩니다. 원하는 기본값을 업데이트하여 기본 구성을 커스터마이즈할 수 있습니다.
4. 개발 워크스페이스에 프로젝트 배포
   databricks bundle deploy

Databricks Asset Bundles 와 Terraform, dbx의 관계

 번들은 데이터, 분석 및 AI 프로젝트 개발에 CI/CD를 적용하는 데 권장됩니다. 번들은 레이크하우스 자산을 정의하는 데 사용할 수 있고, Terraform은 워크스페이스, 서비스 주체, 클라우드 자산과 같은 인프라에 사용할 수 있으므로, 번들과 Databricks Terraform provider는 함께 잘 작동합니다. Databricks Labs 프로젝트인 dbx는 출시 이후 '실험적' 릴리스 상태에 있으며, 번들로 마이그레이션하는 것을 권장합니다.

What's Next

이제 Databricks Asset Bundles이 공개 프리뷰 버전으로 제공되며, 이는 프로덕션에서 사용할 준비가 되었음을 의미합니다. 앞으로 몇 달 안에 대시보드를 소스 파일로 포함하는 등의 추가 기능을 기대하셔도 좋습니다. 번들은 이미 데이터브릭스 워크플로우 작업, 델타 라이브 테이블 파이프라인, ML 실험, ML 등록 모델 및 모델 서빙 엔드포인트와 함께 작동합니다. 현재 비공개 미리 보기 중인 ML Ops Stack에서도 번들 템플릿을 사용하여 ML 프로젝트를 프로덕션에 적용할 수 있습니다. 문서 페이지에서 번들에 대해 자세히 알아보고 피드백을 알려주세요.