고객 데이터 연결 작업 효율성 향상 및 고객 중심 데이터 시스템 구축 성공

대용량 고객 데이터 관리에 부적합하였던 기존의 개별적 데이터 저장소

LG전자는 글로벌 생활가전 시장의 1위로서 매년 전 세계적으로 약 1억 개의 가전제품을 판매하고 있습니다. 제품 디바이스에서 발생하는 로그만 하여도 하루에 수 테라바이트(TB) 규모의 대용량 데이터가 생성되며, 고객 피드백, 빌링 정보 등 다양한 데이터도 끊임없이 축적되고 있습니다. 고객에 대한 정확한 이해를 위해서 이 데이터를 효율적으로 관리하는 것은 필수적이었지만, 기존 환경에서는 방대한 데이터를 효율적으로 수집, 분석 및 전달할 수 없었습니다. 제품 탐색부터 구매 후 관리까지의 모든 고객 데이터는 사내의 데이터 저장소에 보관되어 있었지만, 저장소가 개별적으로 분리되어 있어 데이터 사용자들이 이를 쉽게 활용할 수 없었습니다. 데이터 플랫폼실 문효준 팀장은 당시 상황을 설명하며, “사내의 다양한 현업 부서가 개별 시스템에 존재하는 데이터베이스 테이블의 의미를 이해하는 데 큰 어려움이 있었고, 초기 스키마 또한 의미가 변경되거나 업데이트되어 데이터 이용자들이 효율적으로 데이터를 활용할 수 없었다.”라고 말했습니다. 이 외에도 복잡한 사용 절차와 여러 제약으로 인해 데이터의 일부만 사용이 가능하였고, 활용 사례를 공유할 수 없었으며, 비슷한 데이터가 반복적으로 전달되는 등 데이터 관리와 사용에 많은 어려움이 있었습니다.

이러한 기존 데이터 시스템의 단점들을 보완하고, 전 직원과 고객 데이터를 원활하게 연결하기 위해 LG전자는 고객 중심 데이터 시스템 Intellytics Customer 360 (IC360)을 자체 개발하게 되었습니다. 그러나 고객 데이터를 개인 단위로 연결하는 고객 데이터 아이디 피닝 작업은 순탄치 않았습니다. 외부 고객 데이터 플랫폼 (CDP)를 활용하여도 국내 고객만 수천만 명에 달하는 고객 데이터베이스를 개인 단위로 연결하는 작업은 오랜 작업 시간이 필요하였습니다. 고객 데이터를 연결하는 하나의 시스템 구축에 대규모 리소스를 투자하기는 어려운 상황이었습니다.

더불어, 당시에는 외부 SaaS가 CDP 솔루션을 제공했기 때문에 고객 데이터가 외부로 유출될 수 있는 정보 보안 문제가 고려되었습니다. IC360 시스템을 오픈하기 직전에는 시스템 확장성에 관한 문제 또한 발견하였습니다. CDP 서비스는 고객 분석을 위해 제품 개발, 영업, 마케팅 등 부서 구분 없이 4만 명이 넘는 전사 임직원이 데이터 시스템을 활용해야 했지만, 테스트 결과 수천 건의 데이터 사용자 쿼리가 동시에 발생했을 경우 CDP 시스템의 성능이 현저히 저하되었습니다. 10개 이상의 동시 쿼리가 불가능했으며 사용자들의 쿼리가 Queuing 되지 못하여 유실되는 문제가 발생하였고, 사용자 쿼리가 시스템의 쿼리와 분리되지 못해 중요 시스템 쿼리 작업이 지연되기도 하였기에, 새로운 시스템 구축 과정에 많은 문제에 직면하게 되었습니다.

데이터브릭스 인텔리전스 플랫폼으로 시스템 확장성 및 데이터 보안 확보

LG전자는 고객 데이터 시스템의 대용량 데이터, 정보 보안 및 시스템 확장성 문제를 해결하기 위해 데이터브릭스 인텔리전스 플랫폼을 도입하였습니다. 데이터브릭스의 강력한 컴퓨팅 자원과 Job 클러스터 기능을 활용하여 대용량 고객 데이터 아이디 피닝 작업을 빠르게 처리할 수 있게 되었습니다. 데이터 플랫폼실 문효준 팀장은 “수많은 고객 데이터를 연결하기 위해 다양한 워크플로우를 관리하는 과정에서 데이터브릭스의 소프트웨어 개발 키트(SDK)를 활용하며 API 기반의 수천 개의 Job을 추가, 제거, 정지를 할 수 있게 되어 효율적인 관리가 기능해졌다.”고 설명했습니다.

또한, 데이터브릭스 플랫폼을 사용함으로써 사내 모든 데이터 사용자가 파이썬, SQL 등의 다양한 데이터 언어를 학습할 필요 없이, 일반 시티즌 데이터 사이언티스트들은 UI를 통해 쉽게 고객 데이터를 조회하고 활용할 수 있게 되었습니다. 데이터 전문가들은 백엔드에서 SQL쿼리로만 데이터를 연결할 수 있어 업무 효율성과 데이터 접근성이 크게 향상되었습니다.

데이터브릭스의 클러스터 기능을 통해 데이터 시스템의 확장성 또한 확보할 수 있게 되었습니다. 사용자 수나 데이터 처리 부하가 증가할 때는 자원 사용을 늘리고, 직원이 근무하지 않는 시간대에는 자원을 최대한 줄일 수 있는 클러스터 환경은 탄력적인 자원 운영을 지원하였습니다. 이를 통해 비용도 최적화할 수 있었으며, 특정 행사 시에도 탄력적으로 자원을 운영할 수 있게 되었습니다. 예를 들어, 내부적으로 주최하였던 고객 데이터 지수 관련 해커톤 행사 동안 데이터브릭스를 사용하여 시스템 확장성을 확보함으로써 많은 사용량이 증폭되는 상황에서도 안정적인 자원 운영이 가능했습니다.

더불어, 데이터브릭스 인텔리전스 플랫폼으로 데이터 보안 문제도 해결되었습니다. 데이터브릭스는 SaaS 형 서비스이지만 외부에서 컨트롤 플레인 공간까지 접근하는 것을 차단할 수 있기에 데이터의 안전성을 높였습니다. LG전자와 데이터브릭스 간에는 프라이빗 링크를 통해 연결하고, Admin에 한해서만 화이트 리스트 특정 사용자를 지정하여 권한이 있는 사용자만 컨트롤 플레인에 접근할 수 있도록 하였습니다. 이로 인해, 고객 데이터를 LG전자 내부에 안전하게 유지할 수 있게 되었습니다.

강력한 컴퓨터 자원으로 고객 데이터 연결 작업 시간 및 비용 단축

LG전자는 데이터브릭스 인텔리전스 플랫폼을 도입하여 광대한 고객 데이터를 효율적으로 관리하는 CDP 시스템 구축에 성공하였습니다. 기존에는 모든 데이터를 개인 단위로 아이디 피닝하여 개인의 속성 데이터와 행동 데이터로 가공하는 작업에 약 10시간 정도 소모되었는데, 데이터브릭스 활용으로 효율성을 3배 이상 향상시켜 3시간으로 단축할 수 있었습니다. 데이터 로직 처리 비용 또한 기존의 3/10으로 크게 줄일 수 있었습니다.

또한, 데이터브릭스로 유연한 자원 운영이 가능해져 데이터 시스템 관리 비용을 최적화할 수 있게 되었습니다. 기존 SaaS형 서비스에서 24시간 사용 비용 대비 데이터브릭스 활용으로 야간 비용을 축소하고 피크타임에 탄력적 운영으로 전체 데이터 시스템 관리 비용의 최대 1/2까지 절감할 수 있게 되었습니다.

데이터 플랫폼실 문효준 팀장은 “LG전자가 현재 제공하는 기술 환경과 CDP 활용도는 향후 다른 기업들이 CDP 시스템을 개발할 때 중요한 발판이 될 수 있을 것 같다. 비교가능한 CDP를 데이터브릭스 기반으로 지원할 수 있을 것 같다.”고 말하며 LG전자의 고객 중심 데이터 시스템의 효율성과 미래성을 강조했습니다. 앞으로 나아가, LG전자는 데이터브릭스와 지속적인 협업을 통해 고객 데이터 시스템에 생산형 AI를 적용하여 텍스트 기반 SQL로 다양한 데이터 사용자가 더욱 쉽게 원하는 정보를 얻고 데이터 활용도를 극대화할 수 있도록 지원할 예정입니다.