데이터 거버넌스 (Data Governance)

데이터 거버넌스란 무엇인가요?

데이터 거버넌스는 데이터가 가치를 창출하는지 확인하는 감독 행위이며, 비즈니스 전략을 지원하는 활동입니다. 데이터 거버넌스는 단순한 도구나 프로세스가 아닙니다. 사람, 프로세스, 기술, 데이터와 관련하여 비즈니스 목표와 목적을 지원하는 문화에 초점을 맞추고, 프레임워크를 통해 비즈니스 전략에 데이터 관련 요구 사항을 일치시킵니다.

데이터 거버넌스는 비즈니스에 어떤 장점을 제공할까요?

데이터 용량과 복잡성이 커지면서 핵심적 비즈니스 성과를 보장하기 위해 데이터 거버넌스를 찾는 조직이 점점 더 늘고 있습니다.

• 분석 및 머신 러닝을 위한 일관적이고 우수한 품질의 데이터를 제공합니다.
• 인사이트를 확보하는 시간을 단축합니다.
• HIPPA, FedRAMP, GDPR, CCPA와 같은 산업 규정에 대한 위험 관리 및 규정 준수를 지원합니다.
• 조직 내 모든 사람이 데이터 중심적 결정을 내릴 수 있도록 데이터를 민주화합니다.
• 사용자가 큰 클러스터를 시작하지 못하게 차단하고 비용이 비싼 GPU 인스턴스를 사용하는 것에 대한 가드레일을 만들어 비용을 최적화합니다.

좋은 데이터 거버넌스 솔루션은 무엇인가요?

일반적으로 데이터 중심적 기업은 레이크하우스에서 분석하기 위해 데이터 아키텍처를 구축합니다. 데이터 레이크하우스는 데이터 레이크에 저장된 방대한 데이터에 직접 효율적이고 안전한 데이터 엔지니어링, 머신 러닝, 데이터 웨어하우징, 비즈니스 인텔리전스를 적용하는 아키텍처입니다. 데이터 레이크하우스의 데이터 거버넌스는 다양한 핵심 기능을 제공합니다.

• Unified Catalog: 통합 카탈로그는 모든 데이터, 머신 러닝 모델, 분석 아티팩트, 각 데이터 개체의 메타데이터를 저장합니다. 또한, 기존의 Hive 메타스토어와 같은 다른 카탈로그에 있는 데이터도 결합합니다.
• 통합 데이터 액세스 제어: 모든 데이터 자산 및 모든 클라우드에 대해 하나의 통합 권한 모델을 제공합니다. 여기에는 개인식별정보(PII)에 대한 속성 기반 액세스 제어(ABAC)가 포함됩니다.
• 데이터 감사: 데이터 액세스는 알림 및 모니터링 기능을 통해 한 곳에서 감사하여, 책임감을 부여합니다.
• 데이터 품질 관리: 기본 내장된 품질 관리, 테스트, 모니터링 및 정책 적용 기능으로 데이터 품질을 안정적으로 관리하고, 다운스트림 BI, 분석, 머신 러닝 워크로드에 정확하고 유용한 데이터를 제공할 수 있도록 합니다.
• 데이터 리니지: 데이터 리니지는 데이터 소스에서 사용에 이르기까지  레이크하우스의 데이터 흐름을 전체적으로 표시하는 것입니다.
• 데이터 발견: 데이터 사이언티스트, 데이터 애널리스트, 데이터 엔지니어가 손쉽게 데이터를 발견하고, 관련 데이터를 빠르게 찾아내 참조함으로써 가치 창출 시간을 단축할 수 있도록 지원합니다.
• 데이터 공유: 데이터는 모든 클라우드와 플랫폼에서 공유됩니다.

데이터 관리와 데이터 거버넌스 사이의 차이는 무엇인가요?

데이터 관리는 데이터 거버넌스 정책, 원칙 및 표준을 준수하여 신뢰할 수 있는 데이터를 제공하는 활동에 초점을 맞춥니다. 일반적으로 프로젝트 중심적이고 단기적인 활동을 의미합니다. 데이터 거버넌스는 장기적 이익을 실현하기 위한 프로그램으로 취급됩니다. 중앙 집중형 거버넌스 도구는 거버넌스를 구현하는 데 중요한 역할을 합니다.

Databricks의 데이터 거버넌스와 데이터 공유에 대해 자세히 알아보세요.

• Databricks Unity Catalog
• Databricks Delta Sharing