쇼핑 경험 개선을 위한 데이터 민주화

Wehkamp에서는 일반적인 기업용 데이터 웨어하우스를 이용 중이었지만, 사업 규모가 커지면서 집중적인 DevOps 지원 없이는 확장이 불가능한 탓에 업무 효율이 떨어지는 문제를 겪고 있었습니다. 또한 레거시 시스템은 협업형이 아니라 사일로가 생겼습니다. 데이터에는 데이터 애널리스트만 액세스할 수 있었고, 데이터 사일로로 인해 생긴 여러 가지 문제점으로 인해 데이터를 대부분 사용하지 않은 채 방치하게 되기도 했습니다. 이 모든 것이 축적되어 머신 러닝을 사용한 혁신을 저해했을 뿐만 아니라 새로운 기능을 빌드해도 비즈니스에 필요한 속도로 글로벌 웹사이트 전역에 확장 적용할 수 없는 사태가 벌어지고 말았습니다.

• 대량의 데이터: 매일같이 500,000명의 방문객과 400,000개 제품이 데이터를 생성합니다.

• 데이터 사일로 형성, 확장 불가: 데이터 사일로와 기존 데이터 웨어하우스 환경으로 인해 대량의 데이터를 다루는 데이터 사이언스 업무를 지원하기 위해 운영을 확장하지 못하고 고전 중이었습니다. 그 결과 다양한 글로벌 웹사이트 전반에서 혁신을 주도하기 위해 꼭 필요한 인사이트 도출 시간을 달성하지 못하게 되었습니다.

• 비효율적 머신 러닝: 비즈니스 요구 사항에 맞춰 모델 빌드와 교육을 확장하지 못했습니다.

• 긴 출시 기간: 새로운 기능을 빌드하는 속도가 느려 아이디어화 단계에서 실제 프로덕션까지 진행하는 데 일 년이 넘게 걸리는 바람에, 지역적으로 성공해도 글로벌 웹사이트 전반에 걸쳐 그러한 사례를 재빨리 확장하지 못하고 차질을 빚었습니다.

Databricks에서는 Wehkamp에 통합형 데이터 분석 플랫폼을 제공하여 전사적으로 협업에 유리한 민주적 환경을 조성하였습니다. 이를 통해 대량의 고속 데이터를 수집할 수 있도록 역량을 심어주고 강력한 이미지 분류 및 추천 엔진을 개발하여 고객 경험을 개선하는 결과를 이루었습니다.

• AWS의 완전 관리형 플랫폼: 자동 클러스터 관리 덕분에 규모에 구애받지 않고 인프라와 운영을 간소화할 수 있습니다.

• 데이터 흐름 효율성 개선: airflow나 Kubernetes와 같은 다른 툴과 간편하게 통합되므로 CI/CD 모범 사례를 정립하면서 자동 데이터 파이프라인을 구축할 수 있습니다.

• 팀 간 협업 개선: 협업형 노트북 환경에서 여러 프로그래밍 언어(SQL, Scala, Python, R)를 지원하여 다양한 사용자로 구성된 팀이 각자 선호하는 언어를 사용하여 협업할 수 있으므로 데이터 사이언스 작업과 혁신의 속도를 높일 수 있습니다.

• ML 수명 주기 간소화: MLflow가 기본적으로 지원되기 때문에 데이터 사이언스 팀에서 간편하게 실험을 복제, 모델 성능을 추적하고 체계적인 방식으로 다양한 기종에서 신속하게 반복 재현할 수 있습니다.

Databricks와 협력하면서 Wehkamp 사원이라면 누구나 데이터에 액세스할 수 있게 되어 업무 처리, 표시 및 다른 서비스와의 통합 등 다양한 형태로 데이터를 더 적극적으로 활용하게 되었습니다. 머신 러닝 사용 사례 덕분에 엄청난 가치를 창출했으며 매출에도 직접적으로 영향을 미쳤습니다.

• 데이터 팀 생산성 개선: Wehkamp에서는 데이터 애널리스트, 데이터 사이언티스트와 엔지니어가 함께 효율적으로 협력하면서 데이터 사일로를 없애고 데이터 사용 편이성이 향상되었습니다. Wehkamp에서는 애널리스트 전원이 데이터 분석에 Databricks와 Tableau를 사용하도록 지원하여 더 나은 비즈니스 의사결정을 내리도록 도왔습니다.

• 운영 효율성 개선: 자동 확장(오토스케일링) 클러스터나 MLflow와 같은 기능을 이용하면서 데이터 수집부터 전체 머신 러닝 수명 주기 관리까지 운영 효율성이 개선되었습니다. 이로써 하루에 수백 개의 모델을 빌드, 교육할 수 있게 되었습니다. 또한 Wehkamp에서는 Tableau를 사용해 Databricks에서 실행되는 Delta Lake에서 직접 데이터를 사용하므로 애널리스트가 데이터 레이크 전체를 한결 손쉽게 시각화할 수 있습니다.

• 운영 비용 절감: 하둡에서 Databricks로 전환하면서 운영 비용을 대략 70% 절감했습니다.

• 데이터 사이언스 혁신 강화: 이미지 분류를 포함해 제품 표시를 자동화하여 고객에게 더욱 개인별로 맞춤화된 쇼핑 경험을 제공합니다. 규모에 맞춰 10가지 서로 다른 추천을 제공하며 더욱 개인별로 맞춤화된 콘텐츠를 통해 고객 참여도를 높이면서, 궁극적으로 매출 2배 신장이라는 결과를 이루었습니다.