데이터와 ML을 사용해 수익 창출 경험 제공
Plublicis 고객의 캠페인 매출 향상
전년 대비 데이터 파이프라인 운영 비용 절감
데이터 팀 간 생산성 향상
"Databricks 덕분에 고객에 대한 단일 보기를 생성하고 거의 실시간으로 실행 가능한 통찰력을 생성할 수 있었습니다."
옴니채널 리테일 시대에 들어서면서 고객들은 자신의 모든 요구 사항에 맞춰 개인화된 경험을 선호하게 되었습니다. Publicis Groupe는 디지털 기술로 브랜드들이 리테일 경험을 혁신하도록 지원하지만, 데이터와 관련된 어려움과 팀 사이에 존재하는 사일로가 고객에게 필요한 개인화를 제공하지 못하게 하는 장애물로 작용하고 있습니다. Databricks를 사용하고 나서는 리테일 고객이 잠재 고객을 빠르게 고객으로 전환하고, 더욱 오래도록 잔류시키도록 지원한 덕분에 캠페인 수익이 자그마치 50%나 상승했습니다.
데이터 불일치와 팀 간 협업 부족
규모로는 세계 3위를 자랑하는 통신 기업인 Publicis Groupe는 내부와 외부 소스에서 수집되는 방대한 데이터를 처리합니다. Publicis Groupe가 수백만 명의 고객과 수십억 건의 거래 데이터가 포함된 고객 데이터 플랫폼을 대규모로 구현하기 시작하자, 한계가 뚜렷하게 드러났습니다. Publicis는 여러 개의 HDInsight 클러스터를 생성하여 자동화된 데이터 파이프라인과 분석 환경을 지원해야 했습니다. 그렇다 하더라도 이런 확장성 문제로 인해 분석 사용자가 실행하는 쿼리를 완료하는 데 엄청나게 오랜 시간이 걸렸습니다.
게다가 도구의 한계로 인해 팀 간의 협업에도 문제가 생겼습니다. 예를 들어, Jupyter 노트북을 사용하고 있던 데이터 사이언티스트들은 코드를 쉽게 공유하고 재사용할 수 없었습니다. 데이터 사이언스 팀은 그 대신 코드를 수동으로 주고받으며 확인하고 디버깅을 했습니다.
Publicis Groupe의 부사장 Krish Kuruppath는 "데이터 처 리에서 발생하는 비효율로 인해 분석돠 데이터 사이언스 작업 전반에 불일치가 생겼고, 적절한 시기에 적절한 메시지를 적절한 고객에게 보내는 능력에도 영향을 미쳤습니다."라고 말했습니다.
통합 데이터 분석 방식 도입
데이터 사이언스 팀에서 Azure Databricks를 구현하고 ETL에서 ML 모델 실행에 이르기까지 데이터를 통합하고 나서는 모든 것이 바뀌었습니다. Databricks는 Microsoft Azure 및 기술 스택 전체와 기본적으로 통합되어서 쉽게 관리할 수 있고, 몇 분만에 시작이 가능했습니다. Publicis 팀에서는 레이크하우스를 통해 인프라 관리를 단순화하고, 대규모 데이터 처리 속도를 높였으며, 전체적으로 데이터 팀 생산성을 높일 수 있었습니다. Publicis의 데이터 엔지니어는 메모리 및 쓰기 최적화 클러스터를 확장하여 25억 건 이상의 거래는 손쉽게 처리할 수 있었습니다.
협업의 경우, Databricks의 인터랙티브 노트북은 데이터 사이언티스트 및 애널리스트가 노트북을 공유하도록 지원할 뿐만 아니라, 임시 실험, 모델 훈련 및 평가, 운영화까지 실행하도록 지원함으로써 생산성을 높여주었습니다. 그와 동시에 Delta Lake는 읽기 및 쓰기에 일관적인 데이터를 제공하는 데 도움을 주었습니다. 즉, 실시간 데이터와 배치 데이터를 모두 통합했기 때문에 삽입과 업데이트가 손쉽게 처리되었습니다.
Publicis Groupe US의 마케팅 머신 러닝 부문 부사장, Sharad Varshney는 "Databricks 덕분에 고객을 360도로 볼 수 있게 되었습니다. 이를 통해 모든 리테일 고객 의 평생 가치와 잔류율을 높이도록 설계된 모델을 개발할 수 있었습니다."라고 말했습니다.
고객 360도 보기를 통해 잔류율 및 수익 향상
Publicis는 Databricks를 구현하고 나서 더욱 실시간으로 제공되는 활성화 모델로 옮겨갔고, 고객에게는 수익을 상당히 높일 수 있는 방법을 제공할 수 있었습니다. Publicis 고객은 많은 성공을 거두었지만, 그중에서도 매우 개인화된 캠페인을 활용하여 전년 대비 수익이 45%나 상승한 사례도 있었습니다. 또 다른 사례의 경우, 어떤 Publicis 고객은 쿠폰이 있는 고객을 실시간으로 추적하는 기능을 통합하여 쿠폰을 사용한 고객은 제외하고 아직 사용하지 않은 고객에만 집중하기도 했습니다. 이 고객은 3~4일 만에 이 캠페인에서 얻은 수익이 50% 증가했습니다.
Krish는 "Databricks가 핵심이 되어 기존 고객의 이탈을 완화하는 동시에 평생 가치, 구매 경향, 채널 친화성을 바탕으로 한 추천으로 수익도 증대할 수 있었습니다."라고 덧붙였습니다.
Publicis는 자소 고객의 실시간 개인화를 지원하는 엔진이 되었을 뿐만 아니라 자체적으로도 데이터 처리 속도가 5배 향상되었습니다. Databricks를 사용한 후로는 25억 건의 데이터를 처리하는 시간이 36시간에서 5시간으로 단축되었습니다. 또한, Spark 클러스터도 더욱 비용 효율적으로 바뀌었습니다. Publicis는 자동 확장을 지원하고 나서 데이터 엔지니어링 파이프라인을 운영하는 비용이 전년 대비 22% 축소되었습니다. 게다가 ML 워크로드를 실행하는 고객의 비용도 2~3 일마다 5,000달러 이상 들어가던 것을 불과 월 800달러로 낮추었습니다.
팀 간 협업의 경우, 실질적으로 팀끼리 협업할 수 있게 되어 데이터 사이언스 팀과 데이터 애널리스트가 필요할 때마다 클러스터를 확장하였고, 개발 기간을 약 30% 단축했습니다. Publicis 팀은 Databricks를 통해 많은 추가 시간과 리소스를 절약한 덕분에 신바람을 내며 향후 고객에게 최고의 서비스를 제공할 전략을 세울 수 있게 되었습니다.
