Databricks Unity Catalog는 데이터 및 AI를 위한 업계 유일의 통합된 개방형 거버넌스 솔루션으로, Databricks Data Intelligence Platform에 내장되어 있습니다. Unity Catalog를 사용하면 모든 클라우드 또는 플랫폼에서 형식에 관계없이 모든 정형 및 비정형 데이터는 물론 머신 러닝 모델, 노트북, 대시보드, 파일을 원활하게 관리할 수 있습니다. 데이터 사이언티스트, 애널리스트 및 엔지니어는 플랫폼 전반에서 신뢰할 수 있는 데이터와 AI 자산을 검색하고 액세스하며 이를 바탕으로 협업할 수 있습니다. 또한 AI를 활용하여 생산성을 높이고 레이크하우스 환경의 잠재력을 최대한 활용할 수 있습니다. 이와 같이 거버넌스에 대한 통합된 개방형 접근 방식은 상호 운용성을 촉진하고 데이터 및 AI 이니셔티브를 가속화하며 규정 준수를 간소화합니다.
"Databricks Unity Catalog는 이제 전 세계 6페타바이트 이상의 데이터를 통합하는 중앙 집중식 글로벌 시스템인 PepsiCo Data Foundation의 필수 요소로 자리 잡았습니다. 1,500명 이상의 활성 사용자의 온보딩 프로세스를 간소화하고, 전 세계 30개 이상의 디지털 제품 팀을 위한 통합 데이터 검색을 지원하며, 비즈니스 인텔리전스 및 AI 애플리케이션을 모두 지원합니다."
— Bhaskar Palit, 데이터 및 분석 부문 선임 책임자
작동 방식
데이터 및 AI에 대한 통합 관측
모든 클라우드 플랫폼에서 머신 러닝 모델, 노트북, 대시보드, 파일을 비롯하여 모든 형식의 정형 데이터와 비정형 데이터를 손쉽게 검색하고 분류합니다. MySQL, PostgreSQL, Amazon Redshift, Snowflake, Azure SQL, Azure Synapse, Google BigQuery 등의 외부 데이터베이스와 데이터 웨어하우스, 그리고 HMS 및 AWS Glue와 같은 카탈로그의 데이터를 한 곳에서 원활하게 관리, 제어, 쿼리합니다. 데이터 탐색을 하나의 액세스 지점으로 통합하여 데이터 및 AI 이니셔티브를 가속화합니다. 지능형 검색, 탐색, 자동 생성된 데이터 인사이트와 문서로 생산성을 높입니다.
데이터 및 AI에 대한 단일 권한 모델
통합 인터페이스로 액세스 관리를 간소화하여 데이터 및 AI 자산에 대한 액세스 정책을 정의하고 모든 클라우드 또는 데이터 플랫폼에서 이러한 정책을 일관되게 적용 및 감사할 수 있습니다. 한 곳에서 일관된 권한으로 관리되는 개방형 인터페이스를 사용하여 다른 컴퓨팅 플랫폼의 데이터에 안전하게 액세스하세요. 세밀한 행 및 열 제어를 통해 보안을 강화하고, 규모를 유연하게 조절할 수 있는 로우코드 속성 기반 액세스 정책을 통해 액세스를 효율적으로 관리하세요.
AI 기반 모니터링 및 관측 기능
AI의 강력한 기능을 활용하여 모니터링을 자동화하고, 오류를 진단하고, 데이터 및 ML 모델 품질을 유지하세요. 사전 알림의 이점을 활용하여 개인 식별 정보(PII) 데이터를 자동으로 감지하고, 모델 편차를 추적하며, 데이터 및 AI 파이프라인 내의 문제를 효과적으로 해결하여 정확성과 무결성을 유지하세요. 자동화된 열 수준 데이터 리니지를 통해 디버깅, 근본 원인 분석, 영향 평가를 간소화하세요. 기본 내장 시스템 테이블을 청구, 감사 및 리니지 등에 활용하는 운영 인텔리전스를 통해 데이터와 AI를 종합적으로 파악하세요.
개방형 접근성
개방형 API와 표준 인터페이스를 사용하여 모든 컴퓨팅 엔진에서 데이터와 AI 자산에 안전하게 액세스합니다. 오픈 소스 Delta Sharing을 통해 클라우드, 지역, 플랫폼 간에 데이터 및 AI 자산을 공유합니다. 독점 형식, 복잡한 ETL 프로세스 또는 비용이 많이 드는 데이터 복제에 의존하지 않고도 어디서나 누구와도 안전하게 협업하여 새로운 수익원을 발굴하고 비즈니스 가치를 창출할 수 있습니다.
통합
Unity Catalog는 기존 데이터 카탈로그, 데이터 스토리지 시스템 및 거버넌스 솔루션과 호환되므로, 기존에 투자한 기술을 활용하고 값비싼 마이그레이션 비용을 들이지 않고 미래에 대비한 거버넌스 모델을 구축할 수 있습니다.
