수천만 명의 글로벌 게임 사용자를 담은 데이터 레이크하우스를 통한 데이터 기반 인사이트 향상

플랫폼의 유지 관리 비용 및 성능 문제로 인해 데이터 기반 의사 결정의 확장이 제한되는 상황

글로벌 엔터테인먼트 및 게임 기업인 데브시스터즈가 개발한 쿠키런은 2013년 출시하자마자 단숨에 인기를 끌었습니다. 마녀의 오븐을 탈출한 ‘용감한 쿠키’가 달리면서 다양한 친구들을 만나고 새로운 세상을 탐험해나가는 쿠키런은 출시 12주 만에 1000만 다운로드를 달성하고, 한국에서만 일일 최대 290만 명이 넘는 유저가 플레이하는 기록을 남기기도 했습니다. 이후 쿠키런 게임들은 출시와 동시에 한국을 비롯한 여러 지역에서 앱 스토어 무료 게임 1위를 기록하며, 전 세계 사람들에게 지속적인 사랑을 받고 있습니다. 2021년 1월 출시된 RPG ‘쿠키런: 킹덤’이 ‘2021 대한민국 게임대상’ 최우수상을 받았으며, 한국 게임 중 최초로 ‘Pocket Gamer Mobile Game Awards 2021’에서 People's Choice에 선정되기도 했습니다. 현재 쿠키런 게임 프랜차이즈의 글로벌 통합 이용자 수는 2억명을 넘어섰습니다.

데브시스터즈는 Amazon Web Services(AWS) 클라우드에서 게임을 서비스하기 시작했으며 2015년에 Apache Spark를 도입하여 게임 데이터를 분석하기 시작했습니다. 고객 프로필 및 게임 내 활동 데이터를 기반으로 의사 결정하는 문화를 가지고 있기 때문에 분석 데이터는 게임 향상과 우수한 기술, 서비스, 콘텐츠로 전 세계의 플레이어들에게 최고의 경험 제공이라는 회사의 미션에 매우 중요한 요소입니다.

데브시스터즈의 강혜민 BI 셀장은 “글로벌 게임 출시를 위한 마케팅 전략, 다음 업데이트 콘텐츠 결정, 서버 인프라 규모 산정 등 게임에 연관된 다양한 팀의 의사 결정을 지원하기 위해 데이터 분석을 적극적으로 활용하고 있습니다.”라고 설명했습니다.

데이터 기반 의사 결정 문화를 가속화하기 위해 본격적으로 BI(비즈니스 인텔리전스) 팀을 구성하고 SQL Server와 같은 전통적인 데이터 웨어하우스 환경에 익숙한 팀원들이 합류하면서 기존 Apache Spark 기반의 인프라를 사용하는 데 각종 어려움이 있었습니다. 높은 인프라 유지 관리 비용뿐만 아니라 BI 팀원들이 소프트웨어 엔지니어의 지원이 필요한 문제가 자주 발생했습니다. 결국, 데이터 플랫폼 엔지니어는 플랫폼 개선보다는 이런 문제 해결에 더 많은 시간을 투입했습니다.

데브시스터즈는 Spark Thrift Server를 기반으로 자체 SQL 기반 데이터 쿼리 환경을 구축하여 이 문제를 해결하려고 했지만, 여전히 문제가 발생했습니다. 업데이트 및 삭제 쿼리가 동작하지 않았고 성능이 너무 느리고, 데이터가 손실될 위험이 있었습니다. 결과적으로 데이터를 제대로 활용할 수 없는 상황에 놓일 가능성도 있었습니다.

Databricks SQL 및 Delta Lake 아키텍처를 통한 인사이트 도출 가속화 및 고도화

데브시스터즈는 전통적인 데이터 웨어하우스 환경에 익숙한 데이터 웨어하우스 엔지니어와 데이터 레이크 환경에 익숙한 데이터 과학자 모두가 빅데이터를 쉽고 빠르게 분석할 수 있도록 새로운 데이터 분석 플랫폼이 필요했습니다. 데브시스터즈가 찾던 솔루션은 AWS 기반의 Databricks 레이크하우스 플랫폼이었습니다.

Databricks 레이크하우스 플랫폼을 통해 데브시스터즈는 인프라 유지보수에서 유저의 데이터에서 파생된 인사이트를 손쉽게 활용하는 것으로 초점을 전환했습니다. “데브시스터즈는 다양한 직군들이 유기적으로 대규모 글로벌 서비스를 지원하고 있습니다. 분석, 데이터 엔지니어링, BI, 데이터 사이언스, 머신 러닝을 통합하는 솔루션이 필요했고 Databricks가 딱 맞는 솔루션을 제공한 것입니다.”라고 데브시스터즈의 오승용 데이터플랫폼 셀장이 설명했습니다.

데브시스터즈는 Databricks 레이크하우스 플랫폼의 서버리스 데이터 웨어하우스인 Databricks SQL을 사용하여 향상된 성능으로 SQL 및 BI 애플리케이션을 대규모로 실행하는 데 사용하고 있습니다. 또한, 데이터 레이크 안정성을 높이고 Apache Spark API와 호환되는 오픈 소스 스토리지 계층인 Databricks의 Delta Lake를 활용하고 있습니다. "Databricks SQL과 Delta Lake의 도움으로 트랜잭션 처리를 통한 안정적인 데이터 웨어하우스 엔지니어링이 가능해졌고, 파케이 스토리지를 성능에 최적화된 형태로 활용하게 됨으로써 고성능의 분산처리 빅데이터 웨어하우스를 저비용으로 개발 운영할 수 있게 되었습니다."라고 강혜민 BI 셀장이 전했습니다.

데브시스터즈는 더 저렴한 비용으로 빠른 쿼리 성능을 제공하는 차세대 Databricks 레이크하우스 플랫폼 엔진인 Photon을 실제 데이터로 직접 테스트했습니다. 오승용 데이터플랫폼 셀장은 “내부 테스트를 진행한 결과 Photon의 성능이 예상보다 2배 이상 높게 나와 매우 인상 깊었습니다.”라고 얘기했습니다.

레이크하우스를 통한 데이터 기반 인사이트로 킹덤의 성공을 이끌다

데브시스터즈의 데이터 웨어하우스를 지원하는데 Databricks 레이크하우스 플랫폼을 사용함으로써 데이터 웨어하우스 엔지니어는 데이터 레이크 내 빅데이터를 의사 결정에 의미 있는 논리적 단위로 재설계 및 로드하고, 비즈니스 데이터 분석가는 로드한 데이터 레이크 및 웨어하우스를 기반으로 의사 결정에 필요한 대시보드 및 분석 리포트를 제공할 수 있게 되었습니다.

‘쿠키런: 킹덤’과 같은 게임은 매일 10TB 이상의 엄청난 양의 데이터를 처리합니다. 이제 데이터 엔지니어는 Databricks를 통해 이전보다 빠르게 게임 플레이어의 데이터를 처리하고 분석할 수 있게 되었으며 데이터 쿼리 성능은 200% 더 빨라졌습니다. 또한, 간소화된 데이터 분석 및 데이터 웨어하우스 관리를 통해 데이터 플랫폼 엔지니어는 데이터 플랫폼 기능 및 성능 향상에 집중할 수 있게 되었습니다. 더불어 개발 시간이 30%나 단축되어 혁신의 속도를 가속화 시킬 수 있었습니다.

강혜민 BI 셀장은 "쿼리 성능이 향상되어 의사 결정자가 데이터에 쉽게 액세스하고 비즈니스 인사이트를 더 빨리 포착할 수 있습니다. 1분이나 걸리던 쿼리가 Databricks 레이크하우스 플랫폼을 사용하면 20초 미만으로 가능해졌습니다.”라고 말했습니다.

데브시스터즈는 유저가 서비스에 진입 후 결제까지 이어지는 과정에서 창출되는 유저생애가치(LTV: Life Time Value)를 예측하는 통계 모델을 만들 때 초기에는 데이터 레이크만 사용했지만, 의사 결정에 사용하는 다른 지표와의 일관성 유지를 위해 데이터 웨어하우스를 기반으로 사용하는 것이 더 적절하다고 판단했습니다. Databricks 레이크하우스는 데이터 레이크와 데이터 웨어하우스 각각의 장점을 결합한 형태로 제공해 통합된 데이터 환경은 다양한 직군의 협업 능력을 향상시키기에 충분했습니다. 데이터 엔지니어 및 데이터 웨어하우스 엔지니어에게는 로그 ETL 작업에서부터 데이터 웨어하우스 엔지니어링, 데이터 과학자에게는 예측 모델링과 다양한 실험 관리, 비즈니스 인텔리전스 분석가에게는 데이터 시각화와 대시보드 서빙까지 모두 하나의 플랫폼에서 가능케 해 통합된 기준의 신뢰도 높은 데이터를 제공함과 동시에 강력한 인사이트를 제공할 수 있게 되었습니다.

오승용 데이터플랫폼 셀장은 “데브시스터즈는 기존에 데이터 레이크 기반의 분석 환경만 갖추고 있었습니다. 별도의 데이터 웨어하우스 솔루션 도입을 고민하던 차에 Databricks의 레이크하우스 도입하게 되었습니다. 데이터 웨어하우스를 분리했다면, 두 영역의 데이터를 모두 활용한 모델 개발이나, 대규모 데이터 처리를 한 곳에서 효율적으로 관리하는 것은 불가능한 일이 되었을 것입니다. Databricks는 모든 데이터를 하나의 통합 플랫폼에서 손쉽게 처리할 수 있게 지원해주고, 저희는 이런 장점을 잘 활용해 데브시스터즈 고객을 위한 최고의 게임 경험을 만드는데 집중할 수 있게 되었습니다.”라고 얘기했습니다.