레이크하우스에서 완전히 선택적 구성이 가능한 컴포저블 CDP 구축하기

December 6, 2023 in 산업

이 포스트 공유하기

오늘날 조직에서의 고객 데이터는 모든 산업의 핵심 요소입니다. 데이터 레이크하우스를 통한 조직의 데이터 팀 그리고 업무 수준이 높아지며, 레이크하우스를 단지 신뢰할 수 있는 분석의 소스로서의 활용 뿐만이 아니라 마케팅, 운영, 개인화 등을 지원하는 엔진으로 사용하는 경우가 점점 더 많아지고 있습니다.

데이터브릭스는 데이터 레이크하우스 네이티브 고객 데이터 플랫폼(CDP)을 강화하기 위해 Hightouch에 투자했습니다. Hightouch는 데이터브릭스 사용자가 레이크하우스에서 직접 고객 데이터를 수집, 저장, 모델링, 활성화하는 데 필요한 모든 기능을 제공합니다. 이 레이크하우스 중심 아키텍처는 조직 고유의 데이터 인프라를 중심으로 완전한 컴포저블 CDP를 제공합니다. 이 블로그에서 레이크하우스 기반의 컴포저블 CDP가 실제로 무엇을 의미하는지, 왜 고객 데이터에 대한 최선의 접근 방식인지, 그리고 가장 중요한 것은 어떻게 직접 구축을 시작할 수 있는지 자세히 알아보세요.

Customer Data Platform (CDP)은 무엇인가요?

CDP는 기업이 고객 데이터를 수집, 저장, 모델링 및 활성화할 수 있는 방법을 제공합니다. 궁극적으로 마케터, 광고주 및 기타 비즈니스 사용자가 매일 사용하는 다운스트림 도구로 고객 데이터를 전송하여 고객 데이터의 활용 사례를 강화합니다. CDP는 고객 데이터의 신뢰할 수 있는 출처가 되어 기업이 각 고객에 대한 360도 고객 뷰를 확보할 수 있도록 지원합니다.

일반적으로 CDP에는 몇 가지 주요 구성 요소가 있습니다:

이벤트 추적: 웹사이트 또는 모바일 애플리케이션에서 구현할 수 있는 SDK로 디지털 사용자와의 상호작용을 수집합니다.
고객 식별: 다양한 기기, 시간 경과에 따른 상호 작용 등으로 인해 분산되고 서로 다른 고객 기록을 중복 제거하고 통합합니다.
타겟 고객 설정: 마케터 친화적인 UI에서 다양한 고객 대상 세그먼트를 정의합니다.
데이터 활성화: 고객 잠재 고객을 다운스트림 도구에 동기화하여 마케팅 자동화, 비즈니스 운영 등을 강화합니다.

과거의 CDP 솔루션들은 올인원 번들 플랫폼이었습니다. 이러한 전통적인 CDP를 구매하게 될 경우, 플랫폼 내 전용 스토리지에서 고객 데이터를 수집 및 모델링하고, 이 별도의 스토리지 계층에서 타겟 고객을 구축하고 활성화할 수 있는 툴을 제공받게 됩니다.

컴포저블 Customer Data Platform이란 무엇인가요?

컴포저블 CDP는 데이터 레이크하우스와 같은 기존 데이터 인프라를 운영의 중심에 두는 고객 데이터에 대한 새로운 접근 방식입니다. 전통적인 CDP는 자체 데이터 스토리지와 함께 번들로 제공되는 플랫폼이지만, 컴포저블 CDP는 번들로 제공되지 않으므로 기술 스택의 유연성을 높이고 데이터 저장 및 모델링에 데이터 레이크하우스를 활용할 수 있습니다.

Building a complete and composable CDP on the Lakehouse

데이터 레이크하우스의 컴포저블 CDP는 고객 마케팅을 위한 강력하고 성공적인 솔루션으로 자리 잡았습니다. 이러한 성공으로 인해 많은 CDP가 '컴포저블'이라는 단어와 함께 시장에 출시되었는데, 때로는 잘못 사용되기도 하므로 컴포저블의 실제 의미를 명확하게 이해하는 것이 중요합니다.

컴포저블 CDP는 크게 하기 4가지 측면에서 기존 CDP와 다릅니다:

사용자의 기존 데이터 인프라에서 실행됩니다. 컴포저블 CDP를 사용하면 외부 블랙박스에 데이터를 복사할 필요 없이 데이터 레이크하우스에 이미 있는 모든 데이터와 모델을 사용할 수 있습니다.
스키마에 구애받지 않습니다. 데이터 레이크하우스와 컴포저블 CDP는 데이터의 형태에 대한 제한이 없습니다. 가족, 애완동물, 은행 계좌 등 비즈니스에 중요한 모든 개체를 중심으로 고객 데이터를 구성할 수 있습니다. 전통적인 CDP는 사용자와 이벤트를 중심으로 구축된 단조로운 데이터 모델에 의존합니다.
모듈식이며 상호 운용이 가능합니다. 모든 기업은 CDP 구매를 결정하기 전에 이미 이벤트 수집, ETL, 대시보드 등의 데이터 인프라를 어느 정도 갖추고 있습니다. 컴포저블 CDP는 이미 보유하고 있는 데이터 인프라와 함께 작동하며, 부족한 기능을 채워줍니다.
번들된 패키지 비용을 지불하지 않습니다. 플랫폼과 함께 제공되는 "shelfware"가 아닌 실제로 사용할 기능에 대해서만 비용을 지불하면 됩니다.

레이크하우스 컴포저블 CDP의 장점

레이크하우스 컴포저블 CDP는 팀이 이미 데이터 레이크하우스에서 수행 중인 데이터와 모델을 활용하여 기존 투자를 보호합니다. 이러한 단일 데이터 소스와 머신 러닝은 모든 비즈니스 활용 사례를 강화할 수 있습니다. 이를 통해 비즈니스 팀과 데이터 팀 사이에 선순환적인 피드백 사이클이 형성되어 비즈니스 팀은 기존 데이터를 쉽게 사용할 수 있고, 더 많은 혁신에 도움이 되는 추가적인 모델이나 속성에 대해 데이터 팀과 소통할 수 있습니다. 이를 통해 비즈니스 팀과 데이터 팀 사이에 선순환적인 피드백 사이클이 형성되어 비즈니스 팀은 기존 데이터를 쉽게 사용할 수 있고, 더 많은 혁신에 도움이 되는 추가적인 모델이나 속성에 대해 데이터 팀과 소통할 수 있습니다. 예를 들어, 3,500개 이상의 숙박업 브랜드에서 사용하는 제품을 운영하는 Mews는 레이크하우스를 활용하여 분산된 데이터를 단일 데이터 소스로 통합한 후 이를 통해 직접적인 유즈케이스를 지원합니다.

레이크하우스 컴포저블 CDP의 데이터 포괄성은 높은 데이터 유연성과 상응합니다. 비즈니스에 필요한 모든 스키마에 데이터를 적용할 수 있습니다. 전통적인 CDP는 그들의 사전 정의된 스키마에 맞는 웹 이벤트와 그 외 한정된 사용자 속성으로 제한됩니다. 레이크하우스는 복잡한 기업이 CDP 활용 사례에 맞는 정확한 데이터를 제공할 수 있도록 더 잘 준비되어 있습니다. 예를 들어, PetSmart는 레이크하우스에서 각 개인이 소유한 반려동물을 기반으로 마케팅 캠페인을 실행하는데, 이러한 '반려동물' 개체는 기존 CDP로는 지원할 수 없었습니다. 기존 CDP에서는 이벤트와 사용자(사람)에 대한 데이터 모델만 있기 때문에 각 사용자의 여러 '반려동물'과 생일, 복용 중인 약, 식품 브랜드 등 관련 특성을 추적하는 것은 불가능하였습니다.

데이터 레이크하우스는 고객 데이터 아키텍처의 각 단계에서 완전한 투명성, 신뢰성, 감사 기능을 제공하는 데이터 거버넌스 측면에서도 뛰어난 기능을 제공합니다. 데이터 팀은 레이크하우스에서 제공하는 CDP를 활용하여 블랙박스인 외부 시스템에 소유권과 권한을 위임하는 대신, 기업의 고객 데이터를 철저히 관리하고 통제할 수 있습니다.

레이크하우스를 중심으로 컴포저블 CDP 아키텍처를 구축하면 모듈식 아키텍처를 유지하면서 미래에도 대비할 수 있습니다. 이벤트 수집과 같은 CDP 기술 스택의 일부를 변경하려는 경우, 나머지 기술 스택과 관계없이 핵심 데이터 자산은 레이크하우스에서 안전하게 유지되므로 재량에 따라 자유롭게 변경할 수 있습니다. 모놀리식 CDP 공급업체에 종속되지 않고, 비즈니스가 발전함에 따라 각 CDP 사용 사례에 적합한 기술 스택을 선택할 수 있습니다.

또한 레이크하우스 컴포저블 CDP는 기존 CDP보다 투자 수익률이 더 높습니다. 새로운 시스템으로 처음부터 다시 시작하는 것이 아니라 기존 인프라를 활용하기 때문에 가치 실현 시간(time to value)을 훨씬 단축할 수 있습니다. 따라서 컴포저블 CDP는 비용 효율성이 더 높습니다. 이러한 비용 효율성의 일부는 공급업체 선택으로 인해 발생하는데, 중복 기능이 있는 올인원 플랫폼을 구입하는 대신 필요한 CDP 구성 요소만 도입하면 됩니다. 또한 데이터 저장과 컴퓨팅을 위해 또 다른 플랫폼에 중복 투자를 할 필요가 없으며, 신뢰할 수 있는 메인 소스인 데이터 레이크하우스를 통해 규모의 경제를 실현할 수 있습니다.

컴포저블 CDP 방법론: Hightouch-데이터브릭스 파트너십

Hightouch와 데이터브릭스는 서로 협력하여 기업에게 고객 데이터를 활성화할 수 있는 최상의 방법을 제공하며, 이것이 바로 데이터브릭스가 Hightouch에 투자한 이유입니다.

Hightouch는 조직이 레이크하우스 네이티브 CDP를 구성하는 데 필요한 모든 구성 요소를 아래와 같이 제공합니다:

이벤트 수집: 이벤트를 수집하여 레이크하우스에 업로드
고객 식별: 레이크하우스에서 데이터 모델링 및 고객 360 프로필 통합
타겟 고객 설정: 고객의 속성을 기반으로 해당 고객을 즉시 타겟 고객으로 그룹화하고, 마케터 친화적인 인터페이스에서 타겟 고객 전반에 걸쳐 마케팅 캠페인과 다양한 이벤트를 진행
데이터 활성화: 레이크하우스의 데이터를 200개 이상의 다운스트림 도구에 동기화하여 라이프사이클 마케팅, 광고 캠페인, 운영 분석 등과 같은 CDP 사용 사례를 지원

또한 Hightouch는 기존 CDP가 제공하지 않는 기능을 레이크하우스 사용자에게 제공합니다. 예를 들어, Match Booster는 광고 플랫폼으로 전송되는 자사 데이터를 타사의 식별 정보를 통해 보강하여 데이터브릭스 고객과의 일치율을 높임으로써 Liveramp와 같은 데이터 온보딩 플랫폼의 역할과 유사한 기능을 수행합니다. 또한 개인화 API 를 사용하면 웹사이트와 앱에서 데이터 레이크하우스에 있는 예측 모델을 호출하여 실시간 개인화를 구현할 수 있습니다.

여기서 더욱 주목할 점은 Hightouch가 컴포저블 CDP라는 개념을 완전히 수용한다는 점입니다. 기업은 필요한 서비스만 추가하여 레이크하우스에 구축할 수 있습니다. 레이크하우스에서 직접 dbt로 고객 식별을 하려는 경우, Hightouch에서 중복 서비스를 구매할 필요가 없습니다. 구성성(composability)이 뛰어나다는 것은 원하는 대로 선택할 수 있다는 뜻이므로 조직의 요구사항에 집중하여 필요한 기능만 추가할 수 있습니다.