ML로 다시 태어난 모바일 뱅킹
복잡한 분석에 걸리는 시간을
6시간에서 몇 초로 단축
Delta Lake로
14개 데이터베이스 대체
앱 참여 향상
세계 최대 규모의 국제적 은행 중 하나인 HSBC는 모바일 기기에서 디지털 결제를 관리하기 위한 새로운 방법을 모색하고 있습니다. HSBC는 소비자와 네트워크 간에 안전하고 즉각적인 현금 없는 거래를 지원하는 소셜 앱 PayMe를 개발했습니다. 고객이 3,900만 명을 넘어서면서 확장에 한계가 왔고, 데이터에 기반한 결정을 내리기가 어려워졌습니다. HSBC는 Databricks를 사용함으로써 데이터 분석과 머신 러닝을 확장해 개인화, 추천, 네트워크 과학, 사기 탐지 등의 고객 중심 사용 사례를 제공할 수 있게 되었습니다.
데이터 활용에 어려움을 겪는 데이터 사이언스 및 엔지니어링 팀
데이터 활용에 어려움을 겪는 데이터 사이언스 및 엔지니어링 팀
HSBC는 데이터와 분석을 활용하면 3,900만 명이 넘는 고객에게 더 나은 서비스를 제공할 엄청난 기회가 있다는 것을 알고 있습니다. 모바일 결제를 혁신할 기회를 찾아 소셜 결제 앱 PayMe를 개발했습니다. PayMe는 홈 그라운드인 홍콩 시장에 출시된 이후 180만 명 이상의 사용자를 확보하며 현지 앱 순위 1위를 달성했습니다.
빠르게 증가하는 고객층에 최고의 모바일 결제 경험을 제공하기 위해, 데이터와 머신 러닝을 활용하여 사기 행위 탐지, 고객 360 등 다양한 모범 사용 사례를 얻어 마케팅 결정, 개인화 등을 지원할 수 있는 방법을 모색했습니다. 그러나 이런 사용 사례를 안전하고, 빠르고, 확장 가능한 방식으로 제공하는 모델을 구축하는 작업이 생각보다 어려웠습니다.
느린 데이터 파이프라인이 데이터 업데이트 저해: 기존 시스템은 대규모로 데이터를 처리하고 분석하는 데 방해가 되었습니다. 데이터를 수동으로 내보내고 샘플링해야 했기 때문에 시간이 오래 걸렸습니다. 데이터 사이언스 팀에 데이터가 전달되기까지 몇 주가 걸리고, 데이터를 활용한 예측이 불가능했습니다.
수동 데이터 내보내기 및 마스킹: 기존 프로세스는 수동 승인 양식으로 모든 데이터 요청을 작성해야 해, 오류가 발생하기 쉬웠습니다. 게다가 수동 마스킹 프로세스는 시간이 오래 걸리고, 엄격한 데이터 품질 및 보호 규정을 충실히 지키지 않았습니다.
비효율적인 데이터 사이언스: 데이터 사이언티스트들은 개인 컴퓨터의 사용자 정의 환경에서 독립적으로 작업했기 때문에 원시 데이터를 탐색하고 대규모로 모델을 훈련하는 데 한계가 있었습니다. 따라서 협업이 어렵고 모델 이터레이션도 매우 느렸습니다.
데이터 활용의 어려움: 데이터 애널리스트가 비즈니스 인텔리전스를 얻고 보고하려면 구조적 데이터의 하위 집합에 액세스해야 했습니다.
더욱 빠르고 안전한 대규모 분석 및 ML
더욱 빠르고 안전한 대규모 분석 및 ML
HSBC는 NLP 및 머신 러닝을 사용하여 PayMe 앱에서 발생한 각 거래의 의도를 쉽게 파악할 수 있습니다. 이런 다양한 정보는 고객에게 추천을 제공하거나, 비정상적인 활동을 줄이는 등의 다양한 사용 사례에 적용할 수 있습니다.
Azure Databricks를 사용한 이후, 데이터 엔지니어링, 데이터 사이언스 및 분석 전문가의 데이터 분석을 통합할 수 있게 되었습니다.
운영 효율성 향상: 클러스터 자동 확장, Delta Lake 지원 등의 기능으로 데이터 수집에서 전체 머신 러닝 수명 주기 관리에 이르기까지 모든 운영이 개선되었습니다.
Delta Lake로 실시간 데이터 마스킹: HSBC는 Databricks 및 Delta Lake를 사용하여 데이터 사이언스 및 데이터 분석 팀에 익명화한 프로덕션 데이터를 안전하게 실시간으로 제공할 수 있었습니다.
Delta Lake로 적절한 성능의 확장형 데이터 파이프라인 구현: 다운스트림 분석과 머신 러닝에 실시간 데이터 처리를 제공할 수 있게 되었습니다.
데이터 사이언스 및 엔지니어링 간 협업: 빠른 데이터 탐색, 반복적 기능 엔지니어링, 신속한 모델 개발과 훈련을 지원합니다.
풍부한 인사이트로 앱 순위 1위 달성
풍부한 인사이트로 앱 순위 1위 달성
HSBC는 Databricks의 통합 데이터 분석 플랫폼을 통해 데이터 엔지니어링에서 ML 모델 프로덕션에 이르기까지 분석의 모든 측면을 중앙으로 한데 모아 더욱 풍부한 비즈니스 인사이트를 제공합니다.
데이터 파이프라인 속도 향상: 프로세스를 자동화하고 복잡한 분석의 데이터 처리 속도를 6시간에서 6초로 단축했습니다.
서술적 모델에서 예측적 모델로 전환: 모든 데이터 세트로 모델을 훈련할 수 있게 되면서 예측적 모델을 다양한 사용 사례에 배포하게 되었습니다.
14개 데이터베이스를 단일 Delta Lake로 대체: 읽기전용 복제본 데이터베이스 14개를 사용하다가 Delta Lake 단일 통합 데이터 스토어로 전환했습니다.
홍콩에서 앱 순위 1위 달성: PayMe는 홍콩에서 시장 점유율 60%를 달성하고 1위에 올랐습니다.
고객 참여 증대: 네트워크 사이언스를 활용하여 고객 연결을 파악한 덕분에, PayMe 앱의 참여 수준이 4.5배 향상되었습니다.
