소비자가 현명한 선택을 할 수 있도록 지원
약 1,500명의 직원이 데이터 기반 의사 결정을 할 수 있는 환경 구축
데이터 볼륨 연간 40 – 60% 증가율 지원
폭발적으로 성장하는 비즈니스 데이터를 활용하기 위해 분석 및 AI를 점점 더 많이 적용하고 있습니다.
1,300만 가입자를 보유한 대한민국 대표 온라인 패션 플랫폼 무신사는 최근 신규 회원, 거래액, 입점 브랜드를 포함한 모든 면에서 빠른 성장을 지속하고 있습니다. 그로 인해 데이터는 다양해졌고, 볼륨 또한 증가하였습니다. 무신사는 비즈니스 성장에 따라 다양해진 데이터 요구사항을 충족시키기 위해 Databricks Lakehouse 플랫폼을 도입하였습니다.
빠른 성장으로 기존 데이터 플랫폼의 변화 필요성 인지
대한민국 대표 온라인 패션 플랫폼 무신사는 7,000개 이상의 스트리트 브랜드, 글로벌 럭셔리 브랜드, 디자이너의 제품을 제공합니다. 또한, 국내외 최신 패션 트렌드 콘텐츠를 전달하는 패션 매거진 '무신사 매거진'을 제작하고 있습니다. 아울러 데이터와 업계 전문성을 활용하여 자체 개발한 브랜드를 출시하여 경쟁력을 높이고 있습니다.
무신사의 전략적 비전은 분석 및 AI를 사용하여 고객에게 개인 맞춤형 추천 서비스를 제공하고 입점한 브랜드에 편의성을 제공하며 운영 효율성을 향상시키는 것입니다. 이 비전을 지원하기 위해 무신사는 데이터 기반 의사 결정을 가능하게 하는 접근성 높은 데이터 환경을 구축하고자 했습니다.
그러나 새로운 데이터 환경을 만들기 전에 우선 최근 급증하는 데이터를 관리할 수 있는 더 나은 방법을 찾아야 했습니다. 무신사는 2021년 7,000개의 파트너 브랜드, 1,300만 명 이상의 회원, 400만 명의 월간 고유 사용자, 연간 거래액 2조 3,000억 원으로 성장했습니다. 지난 4년 동안 이러한 성장의 결과 무신사는 플랫폼, 데이터 사용자 및 다양한 서비스에서 수집하는 데이터 양이 연간 40–60% 증가했습니다. 이는 매출 수치, 구독자 수, 제품 세부 정보, 사용자 리뷰, 행동 로그와 같은 정형 데이터와 제품 이미지 및 리뷰 이미지와 같은 비정형 데이터를 모두 포함한 것입니다. 무신사는 현재 트랜잭션 데이터와 사용자 행동 로그를 결합하여 매달 50억 개에 가까운 데이터 포인트를 처리하고 있습니다.
무신사의 유환성 데이터플랫폼 팀장은 “비즈니스가 성장함에 따라 다양한 서비스를 하나의 데이터 플랫폼으로 통합하고 동료들의 데이터 요구사항과 활용도에 따라 페르소나에 맞는 데이터 환경을 구성하기를 원했습니다.”라고 설명했습니다.
Unity Catalog로 다양한 직무를 가진 직원의 활용도별 액세스 권한 관리
무신사는 당사의 데이터를 사용하는 약 1,500명의 직원들에게 데이터 활용도와 직무에 따른 데이터 환경을 제공하고자 했습니다.
일반 사용자, 데이터 분석가, 데이터 과학자를 포함한 다양한 데이터 사용자의 다양한 요구를 수용하기 위해 무신사는 액세스 가능한 데이터 플랫폼을 보장하기 위해 데이터 액세스 및 사용 지침을 정의해야 했습니다. 중앙 집중식 거버넌스를 제공하는 동시에 더 엄격한 액세스 제어를 구현하기 위해 Databricks의 Unity Catalog를 선택했습니다. “데이터 전문가뿐만 아니라 데이터 기술이 없는 사용자도 쉽게 데이터에 액세스하고 활용할 수 있는 환경을 지원하도록 다양한 옵션을 고려했습니다. 이 문제는 Unity Catalog를 통해 문제를 해결할 수 있었습니다.”라고 유환성 팀장이 말했습니다.
Unity Catalog를 사용하여 사용자 권한을 쉽게 관리하고 SQL 및 Python을 포함한 데이터 흐름을 데이터 리니지 기능을 통해 시각화하고 모니터링할 수 있었습니다.
액세스 가능한 데이터 플랫폼의 개발 가속화 집중
무신사 데이터 플랫폼 팀은 단 3개월 만에 AWS 클라우드에서 운영되는 모든 데이터를 Databricks Lakehouse 플랫폼으로 통합했습니다. Databricks와 AWS의 원활하고 유연한 통합 덕분에 데이터 마이그레이션을 순조롭게 완료할 수 있었습니다. 또한, Databricks는 오픈 소스 플랫폼으로 동작하기 때문에 Apache Spark를 기반으로 데이터를 처리하는 대부분의 기존 파이프라인 코드를 재사용할 수 있어 빠르게 통합할 수 있었습니다.
무신사는 Databricks Lakehouse를 사용함으로써 분석해야 하는 데이터에 액세스하고 공유하고 준비할 수 있는 기회를 모든 직원에게 제공했습니다. 무신사 데이터 플랫폼 팀은 강력한 거버넌스를 구현하여 Unity Catalog를 통해 데이터 열 수준까지 세분화된 액세스 제어를 허용했습니다. 유환성 팀장은 “데이터 플랫폼을 통해 데이터 접근성 증대, 거버넌스 구축, 클라우드 통합을 달성할 수 있었습니다.”라고 밝혔습니다. 그 결과 데이터 기반 비즈니스 의사를 결정할 수 있는 환경을 마련하였고, AI/ML 모델 개발 및 관리를 더 쉽고 간편하게 할 수 있었습니다. 또한, 데이터에 더 빠르게 액세스할 수 있게 되어 다양한 직무를 가진 직원들의 업무 생산성도 같이 향상되었습니다.
앞으로 무신사는 Databricks의 MLFlow 도입을 통해 머신러닝 모델의 라이프사이클을 관리하고 기존의 모든 AI/ML 모델을 Databricks로 통합 운영할 예정입니다. 더 나아가 데이터 플랫폼 고도화를 통해 접근성이 높은 데이터 환경을 마련하여, 모두가 데이터에 기반하여 의사 결정을 할 수 있는 플랫폼을 만드는 것을 목표로 하고 있습니다.
