데이터브릭스 ETL 을 이용한 Customer Data Platform 활성화

고객 데이터 플랫폼(CDP)은 기업 마케팅 환경에서 점점 더 중요한 역할을 하고 있습니다. 다양한 내부 및 외부 소스의 데이터를 통합하여 고객 정체성에 대한 공유된 이해를 중심으로 고객에 대한 360도 뷰를 구축함으로써 마케터는 풍부한 인사이트를 개발하여 타겟 인게이지먼트를 유도할 수 있습니다.

범용 데이터 플랫폼보다는 좁은 범위의 데이터에 초점을 맞추고 있는 CDP솔루션들은, 자주 사용되는 데이터 소스의 수집과 원시 데이터를 마케팅 팀에서 사용할 수 있는 정보 자산으로 만들어내기 위한 데이터 변환 기능을 기본적으로 지원하고 있습니다. 이 기본 제공 기능은 가치 실현 시간을 단축하는 데 도움이 되지만, 더 복잡한 데이터 변환 과제를 해결해야 하는 경우 다소 제약이 있을 수 있습니다. 이 경우 마케팅 팀은 데이터 엔지니어에게 도움을 요청하게 되고, 데이터 엔지니어는 선호하는 데이터 처리 플랫폼인 데이터브릭스를 이용하여 문제를 해결할 수 있습니다.

작업에 적합한 도구를 선택해야 합니다

데이터브릭스는 오랫동안 대규모의 복잡한 데이터 처리 문제를 해결하는 능력으로 인정받아 왔습니다. 정형 및 비정형 데이터 원본 모두 지원, 높은 수준의 확장성 및 오픈 소스 기술과의 손쉬운 통합, 실시간과 배치 처리 간의 경계 제거, 섬세한 워크로드 관리 기능 등을 통해 Databricks는 조직이 분석 데이터 처리에 대해 생각하는 방식을 변화시켰습니다.

이로 인해 데이터브릭스는 CDP의 라이벌로 자리매김한 것처럼 보일 수 있습니다. 두 시스템 모두 데이터 처리, 분석을 통한 인사이트 생성, 다운스트림 시스템으로의 데이터 및 인사이트 전달을 지원합니다. 그러나 현대 마케팅 에코시스템에 대한 우리의 비전에서 볼 때, CDP와 데이터브릭스는 특정 작업을 처리하는데에 가장 적합한 상호 보완적 시스템으로, 적절히 통합될 경우 조직이 고객 정보 자산의 잠재력을 극대화하고 비용을 최소화하는 데 도움이 될 수 있습니다.

복잡하고 엄청나게 많은 데이터

CDP 환경에서 복잡한 데이터 처리 과제에 대한 개념으로 돌아가서, 중첩된 값 배열이 있는 제품 리뷰, 소셜 미디어 콘텐츠, 클릭스트림 데이터 또는 항공권 예약을 처리하는 것을 생각해 보십시오. 이러한 모든 정보 소스는 고객으로부터 비롯되며 마케팅 팀이 더 나은 참여를 유도하는 데 활용할 수 있는 귀중한 인사이트를 제공할 수 있습니다. 하지만 데이터의 양이 수십억 또는 수조 개에 달하고 XML, JSON 또는 반정형 텍스트와 같은 데이터의 복잡성으로 인해 마케터에게 유용하게 활용되기 위해서는 신중하게 데이터를 처리해야 합니다.

데이터 엔지니어는 데이터브릭스를 통해 이러한 데이터를 처리함으로써 레이크하우스 플랫폼의 모든 기능을 활용할 수 있습니다. 제품 피드백에 감정과 어조에 대한 태그를 지정하고 주제를 추출할 수 있습니다. 이미지를 해석하고 조회 중인 제품을 식별할 수 있습니다. 개별 클릭을 요약 정보로 압축하여 고객의 최근 웹사이트 방문 흐름을 파악할 수 있습니다. 또한 XML로 된 항공사 예약 데이터를 풀어서 예약에 참여한 여러 개인에게 수익을 깔끔하게 연결할 수 있습니다. 이 정보는 Databricks에서 CDP로 이동하여 마케터가 원시 데이터의 바다를 헤맬 필요 없이 이러한 세부 정보를 사용하여 누구에게 어떤 방식으로 참여를 유도할지 결정할 수 있습니다. 이러한 데이터는 분석가와 데이터 과학자가 변경되지 않은 원본 형태로 데이터를 사용할 수 있도록 Databricks 환경에 계속 보존됩니다.

레이크하우스를 이용해 CDP를 위한 인사이트 확보하기

데이터브릭스 레이크하우스가 이러한 종류의 ETL 오프로드를 통해 CDP를 어떻게 지원할 수 있는지 보여주기 위해, 우리는 Amperity의 고객 데이터를 사용하여 타깃 이메일 캠페인을 진행하는 시나리오를 중심으로 Amperity의 파트너들과 협력했습니다. 이 캠페인은 고객 세그먼트와 개별 소비자 이메일 주소가 Amperity에서 Salesforce 마케팅 클라우드(SFMC) 플랫폼으로 푸시되는 것으로 시작됩니다. 예약된 작업은 타겟팅된 개인에게 메시지를 전송하고 SFMC는 어떤 이메일이 전달되고, 열리고, 클릭이 이루어졌는지 또는 반송되거나 수신 거부 요청을 트리거했는지에 대한 세부 정보를 캡처합니다.

단 몇 주 만에 수십억 개의 레코드가 실행될 수 있는 이러한 이메일 메시지 이벤트의 세부 정보는 SFMC에서 캡처되어 마케터가 일일 추출을 통해 액세스할 수 있도록 합니다. 이 대용량 데이터를 Amperity에 직접 공급하는 대신, 데이터브릭스를 통해 처리하므로 진행 중인 이메일 마케팅 캠페인에서 세부 정보를 캡처하는 동시에 역류하는 세부 정보를 제한할 수 있습니다. 이제 Amperity에 저장된 고객 360도 뷰에는 고객 여정을 이해하고 다음 단계의 참여를 정의하는 데 필요한 정보만 있습니다.

이 프로세스가 실제로 작동하는 모습을 보고 싶으시다면, 첨부된 노트북에서 Databricks 프로세스와 이를 둘러싼 Salesforce 및 Amperity 통합을 캡처한 내용을 확인해 보시기 바랍니다. 이 데모를 통해 고객이 고객 참여 시나리오를 가장 잘 달성할 수 있도록 지원하는 자체 ETL 오프로드 시나리오를 구상하는 데 도움이 되기를 바랍니다.