Databricks 레이크하우스 플랫폼을 통한 팬덤 데이터로 팬 경험 향상

방대한 고객 데이터에서 팬에 대한 인사이트를 파악하기 어려운 한계 상황

Weverse Company는 고객 경험을 확장함으로써 팬덤 문화를 혁신하겠다는 비전을 세운 글로벌 팬덤 플랫폼 기업입니다. 팬덤의 영향력이 지속해서 커지면서, Weverse Company는 Weverse에서 생성되는 방대한 데이터를 기반으로 유익한 팬덤 인사이트를 추출하고 적극적으로 활용할 필요성을 절실히 느꼈습니다.

그러나 데이터가 단편적으로 수집되고, 이러한 데이터를 관리할 인프라가 없다는 현실적인 문제에 직면하게 되었습니다. 이외에도 Weverse Company가 구축한 사일로 데이터 플랫폼도 문제였는데 이 플랫폼은 AWS 계정에서 자체적인 서비스를 운영하는 상태였습니다. 이에 따라 데이터 중복이 발생했고 팀 간 협업이 불가능했습니다. 심한 경우에는 같은 데이터를 여러 번 추출하여 작업을 진행하는 등 운영의 복잡성과 그에 따른 인프라 비용이 커지기도 했습니다. 또한 EMR의 경우에는 대규모 데이터 수집에서는 성능이 떨어졌습니다.

Weverse는 데이터 환경이 매우 복잡해서, 팬 분석을 위해 생성된 모든 데이터를 통합해서 수집하고 관리할 혁신적인 데이터 플랫폼이 필요했습니다. 별도의 AWS 계정에 사일로화된 플랫폼이 구축되어 데이터팀은 소비자 데이터에 액세스하기 어려웠을 뿐만 아니라 비즈니스 의사 결정에 도움이 될 의미 있는 인사이트를 추출하는 능력도 발휘하기 힘들었습니다.

Databricks 레이크하우스로 통합 데이터 플랫폼 구축

Weverse Company는 AWS 상에 Databricks 레이크하우스 플랫폼을 구축하여 데이터 사일로를 제거하고, 데이터 볼륨이 지속해서 증가하더라도 운영 비용 상승 없이 데이터 관리와 성능을 제공할 수 있는 환경을 만들었습니다. 데이터 레이크에 안정성, 보안, 성능을 보장하는 개방적인 스토리지 계층인 Delta Lake를 통해 모든 Weverse 데이터를 통합해서 확인할 수 있도록 만들었습니다. 또한, Delta Live Tables를 사용하여 다운스트림 분석을 위한 안정적인 데이터 파이프라인을 구축하고 Delta Lake에 신뢰도 높은 고품질의 데이터를 제공할 수 있습니다.

자동 확장 기능을 사용하여 데이터팀에는 데이터에만 집중이 가능하여 협업과 생산성 측면에서도 인프라는 더 이상 장애물이 되지 않았습니다 SQL, Python, Scala 등의 다양한 언어도 지원하므로 엔지니어, 데이터 과학자, 애널리스트가 같은 플랫폼에서 협업하거나 데이터 작업을 처리할 수 있게 되었습니다. S3, Glue 카탈로그 등의 AWS 서비스도 기본적으로 지원하여 데이터팀에서 원하는 시점에 원하는 데이터에 바로 액세스할 수 있습니다.

Tableau와 통합한 이후로 Weverse의 데이터 애널리스트는 데이터 품질이나 처리량에 대해 걱정할 필요 없이 쉽고 빠르게 보고서와 시각 자료를 작성할 수 있게 되었습니다. . Databricks가 데이터 기술 스택에 안정적으로 구축되었기 때문에 Weverse에서는 모든 데이터에 신뢰할 수 있는 통합 정보 출처를 제공하고 비즈니스 의사 결정을 개선할 수 있었습니다.

팬덤 데이터를 사용한 새로운 서비스 출시

Weverse 데이터팀은 Databricks 레이크하우스 플랫폼을 구축한 이후로 개발과 데이터 관리에 대한 운영 효율성과 생산성이 크게 향상되었습니다. 사실, 데이터 처리 속도가 빨라진 덕분에 데이터 애널리스트가 데이터 인사이트에 액세스하고 이를 수집하는 데 필요한 전처리 작업의 80~90%를 생략할 수 있게 되었습니다. Weverse에서 사용자 데이터 정보를 많이 수집할수록, 비즈니스 측면에서 모든 각도로 데이터에 숨은 의미를 세세하게 살펴볼 수 있을 것입니다. 이 모든 작업의 최종 목표는 팬들이 원하는 고객 중심적 서비스를 제공하는 것입니다.

Weverse는 데이터 분석 여정을 이제 막 시작했을 뿐, 앞으로도 소비자의 요구 사항에 따라 더욱 현명한 비즈니스 의사 결정을 내리고자 노력을 아끼지 않을 것입니다. Weverse Company는 Databricks의 도움 덕분에 가장 중요한 자산인 팬들의 목소리를 통해 팬과 아티스트가 서로 가까워질 수 있는 세상을 만들고자 하는 미션에 한 걸음 더 다가갈 수 있게 되었습니다.