Databricks Asset Bundles 정식 출시 발표

소프트웨어 개발 모범 사례를 쉽게 적용

작성자: 잭키 장, Lennart Kats, Pieter Noordhuis, Saad Ansari

April 28, 2024 in 플랫폼 & 제품 & 공지사항

이 포스트 공유하기

Databricks Asset Bundles (DABs)의 정식 출시(GA)를 발표하게 되어 기쁘게 생각합니다. DAB를 사용하면 작업, 파이프라인, 노트북과 같은 리소스를 손쉽게 번들로 묶어 프로젝트를 하나의 단위로 버전 관리, 테스트, 배포 및 협업할 수 있습니다. DAB는 데이터브릭스 플랫폼에서 데이터 및 AI 프로젝트를 위한 소프트웨어 엔지니어링 모범 사례를 적용하는 데 도움이 됩니다. DAB는 모든 데이터 자산에 대한 소스 관리, 코드 리뷰, 테스트, 지속적인 통합 및 배포(CI/CD)를 코드 기반으로 쉽게 할 수 있도록 합니다. 현재 수백 명의 고객이 이미 프로덕션 환경에서 DAB를 사용하고 있으며, 모든 고객에게 이 기능을 제공하게 되어 매우 기쁩니다.

향상된 협업 및 자동화: 프로젝트에 DAB 활용하기

DAB는 데이터와 AI 프로젝트를 기술하는 간단하고 선언적인 포맷을 제공합니다. 이 포맷을 통해 데이터 엔지니어, 데이터 과학자, AI 개발자는 데이터와 AI 프로젝트를 소스 파일로 표현할 수 있으며, 이 포맷은 프로젝트의 레이아웃, 테스트, 배포 방법에 대한 엔드투엔드 정의 역할을 합니다. 이를 통해 개발이 진행되는 동안 프로젝트에서 더 쉽게 공동 작업하고 조직 템플릿, Git 및 CI/CD(예: GitHub Actions, Jenkins, Azure DevOps 등)와 같은 모범 사례로 프로젝트를 관리할 수 있습니다.

작동 방식

DAB는 소스 코드와 함께 사용자가 만들고 유지 관리하는 구성을 통해 정의 및 관리되므로 전체 프로젝트를 소스 코드로 정의할 수 있습니다. 사용자 지정 DAB 템플릿을 사용하면 기본 권한, 서비스 주체 및 CI/CD 구성을 포함하는 새 프로젝트에 대한 조직 표준을 설정할 수 있습니다.

Job과 노트북이 있는 프로젝트가 있고 프로덕션 배포에 영향을 미치지 않도록 개발 환경에서 업데이트를 테스트하고 싶다고 가정해 봅시다. DAB를 사용하면 프로덕션뿐 아니라 동료가 작업 중인 개발 사본에서도 변경 사항을 격리하는 개발 대상(dev target)을 정의할 수 있습니다. 변경 사항이 만족스러우면 수동으로 또는 자동화된 CI/CD 시스템을 사용하여 프로덕션에 배포할 수 있습니다.

번들을 사용하면 데이트브릭스 자산(작업, 머신러닝 서비스 엔드포인트, 파이프라인 등)의 버전 이력을 유지하고 일관되고 테스트 가능한 방식으로 환경 변경 사항을 제어할 수 있습니다. 이는 규정 준수 표준을 일관되게 충족해야 하고 변경 관리 거버넌스가 요구되는 규제 대상 산업에 특히 중요합니다.

DAB는 수동으로 또는 템플릿을 기반으로 만들어집니다. 데이터브릭스 CLI는 간단한 사용 사례를 위한 기본 템플릿을 제공하지만, 보다 구체적이거나 복잡한 시나리오의 경우 사용자 지정 번들 템플릿을 만들어 팀의 모범 사례를 구현하고 공통 구성을 일관되게 유지할 수 있습니다.

다음 단계

우리는 DAB와 관련된 몇 가지 흥미로운 기능을 개발 중입니다. 워크스페이스에서 DAB 작성, Python(PyDAB)에서 완전한 DAB 작성, DAB IDE 지원, 모든 데이터브릭스 자산(레이크뷰 대시보드 포함)에 대한 지원 추가 등 입니다.

파이프라인, 실험 및 프로젝트 구축에 DAB를 사용해 보시기 바랍니다. 자세한 내용은 관련 문서를 참조하세요.

DAB를 사용하여 데이터, 분석, AI 프로젝트를 관리하고 자동화하는 창의적이고 효과적인 방법을 확인하실 수 있기를 기대합니다.

몇 가지 간단한 단계만 거치면 Databricks Asset Bundles 사용을 시작할 수 있습니다:

Homebrew를 사용하여 최신 CLI를 설치합니다:
brew tap databricks/tap; brew install databricks
Databricks에 인증합니다:
databricks configure
첫 번째 번들을 생성하고 커스터마이즈합니다:
databricks bundle init
프로젝트를 검증하고 및 개발 워크스페이스에 배포합니다:
databricks bundle validate; databricks bundle deploy