데이터 마트
데이터 마트란 무엇입니까?
데이터 마트는 하나의 데이터 팀, 커뮤니티 또는 사업부(예: 마케팅 또는 엔지니어링 부서)에 따른 특정 요구 사항을 충족하도록 설계된 테이블 세트가 포함된 큐레이션 데이터베이스입니다. 빅 데이터 시대가 도래해 데이터 분석의 중요성이 점점 더 커져가고 있는 지금, 정보를 효율적으로 관리하고 활용하는 데 꼭 필요합니다. 보통, 데이터 웨어하우스보다 작고 집중적이며 일반적으로 조직의 대규모 엔터프라이즈 데이터 웨어하우스의 하위 집합으로 존재하며 분석, 비즈니스 인텔리전스 및 보고에 주로 사용됩니다. 데이터 마트는 중앙 데이터 웨어하우스 및 데이터 레이크의 실질적인 첫 번째 진화 단계였습니다. ACNielsen은 1970년대 초 고객에게 디지털 형식으로 정보를 저장하고 영업을 강화할 수 있는 방법을 제공하는 최초의 데이터 마트를 소개했습니다.
데이터 마트의 특징
- 일반적으로 데이터 마트는 엔터프라이즈 데이터 팀에서 구축 및 관리하지만 사업부 SME측에서도 유기적으로 구축 및 유지 관리할 수 있습니다.
- 비즈니스 그룹 데이터 관리자는 데이터 마트를 유지 관리하고, 최종 사용자는 읽기 전용 액세스 권한을 가지며, 기술에 익숙하지 않은 사용자가 실수로 중요한 비즈니스 데이터를 삭제하거나 수정하는 것을 방지하기 위해 테이블을 쿼리하고 볼 수 있지만 수정할 수는 없습니다.
- 일반적으로 차원 모델 및 스타 스키마를 사용합니다.
- 더 큰 데이터 웨어하우스의 큐레이션된 데이터 하위 집합을 포함합니다. 데이터는 엔터프라이즈 데이터 팀에 의해 정리되고 정형화되어 이해하기 쉽고 쿼리하기 쉽도록 고도로 구조화되어 있습니다.
- 특정 사업부나 사용 사례의 고유한 요구 사항을 중심으로 설계되었습니다.
- 일반적으로 사용자는 SQL 명령을 사용하여 데이터를 쿼리합니다.
데이터 마트 유형: 독립 데이터 마트, 종속 데이터 마트 및 하이브리드 데이터 마트
오늘날 데이터 마트에는 다음과 같은 세 가지 기본 유형이 있습니다.
- 독립 데이터 마트는 데이터 웨어하우스의 일부가 아니고 ACNielsen에서 제공하는 원래 데이터 마트와 매우 유사하며 하나의 사업부나 주제와 같은 특정 영역에 중점을 둡니다. 데이터 소스에는 외부 원본과 내부 원본이 모두 포함될 수 있습니다. 그런 다음 데이터 소스를 변환, 처리한 다음 데이터 마트에 로드하여 필요할 때까지 저장합니다.
- 종속 데이터 마트는 기존 데이터 웨어하우스에 기본 제공됩니다. 하향식 접근 방식이 사용되어 중앙 위치에 모든 데이터를 저장할 수 있고 명확하게 정의된 데이터 섹션은 연구 목적으로 선택됩니다.
- 하이브리드 데이터 마트는 데이터 웨어하우스와 "기타" 데이터 소스에서 가져온 데이터를 결합합니다. 이는 조직에 추가된 새 그룹이나 제품과의 애드혹(ad-hoc) 통합 제공을 비롯하여 다양한 상황에서 유용할 수 있습니다. 하이브리드 데이터 마트는 여러 데이터베이스 환경에 적합하며 빠른 구현 턴어라운드를 제공합니다. 이 시스템은 데이터를 손쉽게 정리할 수 있으며 소규모 데이터 중심 애플리케이션에서도 잘 작동합니다.
데이터 마트의 장점
- 단일 정보 소스 — 데이터 마트는 특정 사업부에 대한 단일 정보 소스 역할을 하여 모든 사용자가 동일한 사실과 데이터로 작업합니다.
- 단순성 — 데이터를 찾는 비즈니스 사용자는 필요한 데이터를 얻기 위해 전체 데이터 웨어하우스를 살펴보고 테이블을 조인할 필요 없이 큐레이션된 데이터 마트를 방문하여 관심 있는 데이터에 쉽게 액세스할 수 있습니다.
데이터 마트의 과제
엔터프라이즈 데이터 웨어하우스는 기업의 모든 데이터 관리 요구 사항을 충족하기 위해 만들어졌습니다. 그러나 사업부마다 데이터 요구 사항과 목표가 다르기 때문에 늘 그렇듯 모두를 만족시키기는 어렵습니다. 따라서 부서는 셀프 서비스 분석 및 부서별 보고 요구 사항을 충족하기 위해 특정 데이터 웨어하우스의 주제 영역을 보강하기 위해 자체 데이터 마트(경우에 따라 엔터프라이즈 IT 지원 필요)를 복사하고 만듭니다. 결과적으로 시간이 지남에 따라 데이터 마트는 엔터프라이즈 관점에서 데이터 사일로 및 데이터의 섀도 복사본이 될 수 있지만 부서 관점에서는 요구 사항을 충족합니다. 많은 부서가 이 작업을 수행 할 때 다양한 버전의 소스를 사용합니다.
레이크하우스가 데이터 마트의 과제를 해결하는 방법
레이크하우스는 통합 보안 및 거버넌스를 통해 모든 엔터프라이즈 데이터 웨어하우스 및 데이터 마트를 하나의 플랫폼에 배치하여 위에서 언급한 문제를 해결하는 동시에 서로 다른 팀에게 자체 샌드박스를 보유할 수 있는 유연성을 제공합니다. 모든 데이터 마트 또는 "보강된 사본"은 다른 모든 소스와 동일한 레이크하우스 플랫폼에서 만들어지기 때문에 레이크하우스의 데이터 카탈로그는 이를 발견하고, 태그 지정 및 데이터 사전 사용 등과 같은 데이터 거버넌스 규칙에 따라 모든 사람이 보강된 사본을 검색할 수 있도록 하여 유사한 중복 사본을 방지합니다.
