ML로 다시 태어난 모바일 뱅킹

데이터 활용에 어려움을 겪는 데이터 사이언스 및 엔지니어링 팀

HSBC는 데이터와 분석을 활용하면 3,900만 명이 넘는 고객에게 더 나은 서비스를 제공할 엄청난 기회가 있다는 것을 알고 있습니다. 모바일 결제를 혁신할 기회를 찾아 소셜 결제 앱 PayMe를 개발했습니다. PayMe는 홈 그라운드인 홍콩 시장에 출시된 이후 180만 명 이상의 사용자를 확보하며 현지 앱 순위 1위를 달성했습니다.

빠르게 증가하는 고객층에 최고의 모바일 결제 경험을 제공하기 위해, 데이터와 머신 러닝을 활용하여 사기 행위 탐지, 고객 360 등 다양한 모범 사용 사례를 얻어 마케팅 결정, 개인화 등을 지원할 수 있는 방법을 모색했습니다. 그러나 이런 사용 사례를 안전하고, 빠르고, 확장 가능한 방식으로 제공하는 모델을 구축하는 작업이 생각보다 어려웠습니다.

• 느린 데이터 파이프라인이 데이터 업데이트 저해: 기존 시스템은 대규모로 데이터를 처리하고 분석하는 데 방해가 되었습니다. 데이터를 수동으로 내보내고 샘플링해야 했기 때문에 시간이 오래 걸렸습니다. 데이터 사이언스 팀에 데이터가 전달되기까지 몇 주가 걸리고, 데이터를 활용한 예측이 불가능했습니다.

• 수동 데이터 내보내기 및 마스킹: 기존 프로세스는 수동 승인 양식으로 모든 데이터 요청을 작성해야 해, 오류가 발생하기 쉬웠습니다. 게다가 수동 마스킹 프로세스는 시간이 오래 걸리고, 엄격한 데이터 품질 및 보호 규정을 충실히 지키지 않았습니다.

• 비효율적인 데이터 사이언스: 데이터 사이언티스트들은 개인 컴퓨터의 사용자 정의 환경에서 독립적으로 작업했기 때문에 원시 데이터를 탐색하고 대규모로 모델을 훈련하는 데 한계가 있었습니다. 따라서 협업이 어렵고 모델 이터레이션도 매우 느렸습니다.

• 데이터 활용의 어려움: 데이터 애널리스트가 비즈니스 인텔리전스를 얻고 보고하려면 구조적 데이터의 하위 집합에 액세스해야 했습니다.

더욱 빠르고 안전한 대규모 분석 및 ML

HSBC는 NLP 및 머신 러닝을 사용하여 PayMe 앱에서 발생한 각 거래의 의도를 쉽게 파악할 수 있습니다. 이런 다양한 정보는 고객에게 추천을 제공하거나, 비정상적인 활동을 줄이는 등의 다양한 사용 사례에 적용할 수 있습니다.

Azure Databricks를 사용한 이후, 데이터 엔지니어링, 데이터 사이언스 및 분석 전문가의 데이터 분석을 통합할 수 있게 되었습니다.

• 운영 효율성 향상: 클러스터 자동 확장, Delta Lake 지원 등의 기능으로 데이터 수집에서 전체 머신 러닝 수명 주기 관리에 이르기까지 모든 운영이 개선되었습니다.

• Delta Lake로 실시간 데이터 마스킹: HSBC는 Databricks 및 Delta Lake를 사용하여 데이터 사이언스 및 데이터 분석 팀에 익명화한 프로덕션 데이터를 안전하게 실시간으로 제공할 수 있었습니다.

• Delta Lake로 적절한 성능의 확장형 데이터 파이프라인 구현: 다운스트림 분석과 머신 러닝에 실시간 데이터 처리를 제공할 수 있게 되었습니다.

• 데이터 사이언스 및 엔지니어링 간 협업: 빠른 데이터 탐색, 반복적 기능 엔지니어링, 신속한 모델 개발과 훈련을 지원합니다.

풍부한 인사이트로 앱 순위 1위 달성

HSBC는 Databricks의 통합 데이터 분석 플랫폼을 통해 데이터 엔지니어링에서 ML 모델 프로덕션에 이르기까지 분석의 모든 측면을 중앙으로 한데 모아 더욱 풍부한 비즈니스 인사이트를 제공합니다.

• 데이터 파이프라인 속도 향상: 프로세스를 자동화하고 복잡한 분석의 데이터 처리 속도를 6시간에서 6초로 단축했습니다.

• 서술적 모델에서 예측적 모델로 전환: 모든 데이터 세트로 모델을 훈련할 수 있게 되면서 예측적 모델을 다양한 사용 사례에 배포하게 되었습니다.

• 14개 데이터베이스를 단일 Delta Lake로 대체: 읽기전용 복제본 데이터베이스 14개를 사용하다가 Delta Lake 단일 통합 데이터 스토어로 전환했습니다.

• 홍콩에서 앱 순위 1위 달성: PayMe는 홍콩에서 시장 점유율 60%를 달성하고 1위에 올랐습니다.

• 고객 참여 증대: 네트워크 사이언스를 활용하여 고객 연결을 파악한 덕분에, PayMe 앱의 참여 수준이 4.5배 향상되었습니다.