"Databricks는 우리 회사에 매우 효과적인 E2E 솔루션이 되었습니다. 다양한 배경을 가진 다양한 팀원들이 대량의 데이터를 신속하게 입수하고 활용하여, 실행 가능한 비즈니스 결정을 내릴 수 있게 되었죠."
Vogue, New Yorker, Wired와 같은 유명 잡지의 퍼블리셔인 Condé Nast는 데이터를 활용하여 인쇄물, 온라인, 비디오 및 소셜 미디어를 통해 10억 명이 넘는 사람들에게 도달합니다. Condé Nast는 활용해야 할 엄청난 양의 데이터로 인해 인프라를 관리하고 데이터 사이언스 생산성을 높이는 데 어려움을 겪고 있었습니다. Databricks 도입 이후 Condé Nast는 클러스터 자동화를 통해 불필요한 DevOps 작업을 제거하고, Delta Lake를 통해 매월 1조 개의 데이터 포인트로 확장되는 데이터 파이프라인을 구축하였으며 MLflow와의 협업을 통해 전체 머신 러닝 수명 주기를 관리할 수 있는 데이터 사이언스 혁신을 실현할 수 있었습니다. 이를 통해 브랜드 전반에 걸쳐 맞춤형 콘텐츠를 제공하여 고객의 참여를 유도하고 유지할 수 있었습니다.
고객 데이터만으로는 콘텐츠 경험을 개선하기 어렵습니다.
선도적인 미디어 퍼블리셔인 Condé Nast는 20개 이상의 브랜드 포트폴리오를 갖추고 있습니다. 매월 1억 건 이상의 방문과 8억 건 이상의 페이지 조회를 기록하는 웹사이트에서는 엄청난 양의 데이터됩 생성합니다. 데이터 팀은 머신 러닝을 사용하여 맞춤형 콘텐츠 추천 및 타겟 광고를 제공함으로써 사용자 참여를 개선하는 데 집중하고 있습니다. 그러나 기본 Spark를 사용하여 데이터 플랫폼을 운영하는 것은 어려웠습니다.
인프라 복잡성: Spark 클러스터를 구축하고 관리하려면 많은 설정과 지속적인 유지 관리가 필요했기 때문에 팀이 더 높은 가치를 창출하는 활동에 집중할 수 없었습니다.
경계를 허물기: 팀이 데이터 파이프라인을 구축하고 분석을 발전시킬 수 있는 협업 플랫폼을 찾아야 했습니다.
너무 많은 데이터: 기존 데이터 레이크 솔루션으로는 데이터 세트를 감당할 수 없었습니다.
데이터 파이프라인 및 머신 러닝 수명 주기 간소화
Databricks는 Condé Nast에 운영을 간소화하고, 우수한 성능을 제공하며, 데이터 사이언스 혁신을 가능하게 하는 완전 관리형 클라우드 플랫폼을 제공합니다.
대화형 워크스페이스: 데이터 사이언티스트가 데이터와 인사이트를 함께 구축하고 공유하고 추적하는 협업 환경을 조성할 수 있습니다.
Delta Lake: 데이터 세트의 크기가 (매월 1조 이상의 데이터 포인트로) 증가하더라도 Delta Lake는 이를 따라잡고 데이터 다시 쓰기 및 데이터 병합과 같은 더 많은 사용 사 례를 허용할 수 있습니다.
관리형 MLflow: MLflow를 통해 Condé Nast는 Experiment 추적에서 프로덕션 모델 모니터링에 이르기까지 전체 머신 러닝 수명 주기를 쉽게 관리할 수 있습니다.
인공지능을 활용한 맞춤형 콘텐츠로 고객 만족 달성
데이터 분석 및 머신 러닝에 Databricks를 도입한 Condé Nast는 고객에 대한 새로운 인사이트를 바탕으로 20개 이상 브랜드의 참여 방식을 완전히 바꾸어 놓았습니다.
고객 참여 개선: 향상된 데이터 파이프라인을 통해 Condé Nast는 더 빠르고 정확한 콘텐츠 추천을 제공하여 사용자 경험을 개선하였습니다.
통합된 접근 방식: 데이터 엔지니어링팀과 데이터 사이언스팀은 이제 함께 문제를 해결하고 새로운 콘텐츠 제품과 경험을 구축하기 위해 협력하고 있습니다.
확장성을 고려한 설계: Condé Nast의 인사이트 처리 및 수집 능력은 데이터 세트보다 결코 부족하지 않습니다.
더 많은 모델을 프로덕션에 도입: MLflow를 통해 Condé Nast의 데이터 사이언스팀은 제품을 더 빠르게 혁신할 수 있습니다. Data Science 팀은 1,200개 이상의 모델을 실제 프로덕션 환경에 배포했습니다.
