데이터브릭스 워크스페이스의 기본 제공 거버넌스

번역: HaUn Kim - Original blog post

데이터브릭스 Unity Catalog는 데이터 및 AI 자산의 안전한 검색, 접근, 모니터링 및 협업을 위한 통합 솔루션을 제공하여 데이터 및 AI 거버넌스를 간소화합니다. 이에는 테이블, ML 모델, 파일 및 함수 등이 포함되며, 이를 통해 생산성이 향상되고 Lakehouse 환경의 전체 잠재력을 발휘할 수 있습니다.

오늘은 Unity Catalog가 AWS와 Azure의 새로운 프리미엄 워크스페이스에서 사전 구성되어 액세스할 수 있다는 기쁜 소식을 전해드립니다. 이 기능의 롤아웃은 점진적으로 계정과 지역에 따라 진행될 예정입니다. 자세한 내용은 담당자에게 문의하시기 바랍니다.

Unity Catalog가 사전 구성된 워크스페이스의 개요

워크스페이스에서 몇 가지 새로운 기능을 확인하실 수 있습니다.

1. 워크스페이스는 이제 Unity 카탈로그에 대한 사전 구성된 액세스를 제공합니다! 계정 관리자가 추가적인 활성화 단계를 거치지 않아도 됩니다.
2. 워크스페이스 이름(이 예에서는 'acme prod')으로 명명된 카탈로그를 찾으실 수 있습니다. 이 카탈로그는 테이블, 모델, 파일 및 함수와 같은 데이터 및 AI 자산을 저장하는 공간으로 사용됩니다. 이 카탈로그는 워크스페이스에 할당된 클라우드 스토리지를 사용하여 기본 데이터를 저장합니다.
3. 카탈로그는 워크스페이스의 관리자가 소유하며, 관리할 수 있습니다. 예를 들어, 관리자는 카탈로그 내에서 '스키마'를 생성하여 자산을 추가로 구성하고, 해당 스키마에 자산을 추가할 수 있는 사용자를 선택할 수 있습니다. 카탈로그 내에서는 모든 워크스페이스 사용자가 'default'라는 스키마를 사용하여 자산을 생성할 수 있습니다 (이 권한은 워크스페이스 관리자가 원하는 경우 세밀하게 조정할 수 있습니다).
4. 이 릴리스는 이전 버전의 Databricks를 기반으로 하며, 여전히 Hive 메타스토어에 액세스할 수 있도록 사전 구성되어 있습니다. '워크스페이스의 기본 카탈로그'라는 새로운 설정을 통해 워크스페이스가 기본적으로 사용할 카탈로그를 지정할 수 있습니다 (AWS | Azure).

Unity Catalog와 함께 오늘 해봐야 할 것 3가지

이제 워크스페이스에서 Unity 카탈로그에 액세스할 수 있으므로 다양한 기능을 사용할 수 있습니다! 지금 바로 노트북을 사용하여 세 가지 기능을 확인해 보세요!

기업의 데이터 및 AI 자산 카탈로그를 작성하고 안전하게 공유하세요

데이터 및 AI의 민주화는 데이터 및 AI 자산의 접근성과 보안을 보장하는 것이 필요합니다. Unity Catalog는 사용자들에게 데이터 및 AI 자원을 손쉽게 관리할 수 있는 중앙 허브를 제공하여 이 과정을 간소화합니다. 이를 통해 사용자들은 테이블, AI 모델, 함수, 파일을 생성하고 한 곳에 카탈로그화함으로써 접근 제어와 감사 추적성을 유지하면서 활용할 수 있습니다.

아래의 데모를 시청하여 데이터 및 AI 자산을 등록하고 접근 권한을 정의하는 방법을 확인하세요.

실시간 데이터 리니지 (lineage) 탐색

Unity Catalog는 열 수준의 모든 작업에 대한 실시간 데이터 리니지 추론을 제공합니다. 이 기능은 데이터 및 AI 자산에 대한 신뢰를 구축하고 영향 분석을 수행하며 최종 사용자를 위한 데이터 탐색을 촉진하는 데 도움이 됩니다.

아래의 데모를 시청하여 데이터 리니지가 어떻게 작용하는지 확인하세요.

세밀한 행 및 열 수준 보안 적용

Unity Catalog는 Databricks 작업에 대한 행 및 열 수준의 세밀한 권한 설정을 간소화합니다. 이 클라우드에 독립적인 SQL 기반 인터페이스는 직관적이고 사용자 친화적인 경험을 제공합니다. Unity Catalog에서 행 필터 및 열 마스크에 대해 자세히 알아보려면 가이드(AWS, Azure, GCP)를 살펴보세요.

아래의 데모를 시청하여 Unity Catalog에서 열 마스킹이 어떻게 작동하는지 확인하세요.

더 많은 리소스를 찾으시나요? 

Unity Catalog를 레이크하우스 아키텍처의 기반으로 채택하면 데이터 및 AI 에코시스템 전체를 아우르는 유연하고 확장 가능한 거버넌스 솔루션의 잠재력을 활용할 수 있습니다. AWS, Azure, GCP용 Unity Catalog 가이드에서 자세한 설명서를 찾아보실 수 있습니다. 또한 데이터브릭스의 데모 센터를 방문하여 Unity Catalog에 대한 추가 튜토리얼을 확인하실 수 있습니다. 데이터 및 AI 거버넌스에 대한 무료 전자책을 다운로드하여 데이터브릭스 레이크하우스 플랫폼이 데이터 및 AI 거버넌스 문제를 어떻게 해결하는지 자세히 알아보실 수도 있습니다.