Reinventando o mobile banking com ML

Data science e data engineering têm lutado para explorar os dados

O HSBC entende a enorme oportunidade que os dados e análises representam para atender melhor seus mais de 39 milhões de clientes. Vendo a possibilidade de reinventar os pagamentos móveis, a instituição desenvolveu o PayMe, um aplicativo social de pagamentos. Desde seu lançamento no mercado doméstico de Hong Kong, o aplicativo se tornou o número 1 na região, com mais de 1,8 milhão de usuários.

A fim de oferecer à sua crescente base de clientes a melhor experiência de pagamento móvel possível, o HSBC buscou o machine learning e os dados para permitir vários casos de uso desejados, como detecção de atividade fraudulenta, visão 360º dos clientes para informar decisões de marketing, personalização e muito mais. Entretanto, criar modelos que pudessem atender a esses casos de uso de maneira segura, rápida e escalável não foi pouca coisa.

• Os dados não estavam atualizados devido a pipelines de dados lentos: sistemas obsoletos impediam o banco de processar e analisar dados em grande escala. Os dados tinham que ser exportados e amostrados manualmente, o que consumia muito tempo. Por todos esses motivos, os dados que chegavam à equipe de data science tinham várias semanas, o que bloqueou sua capacidade de previsão.

• Exportação e mascaramento manual de dados: os processos legados exigiram um formulário de aprovação manual para cada solicitação de dados, e o risco de erro era alto. Além disso, o processo de mascaramento manual era demorado e não seguia as regras rígidas de qualidade e proteção de dados.

• Data science ineficiente: os data scientists trabalhavam em silos em suas próprias máquinas e ambientes personalizados. Na verdade, eles não podiam explorar os dados brutos e treinar modelos em grande escala. Esse contexto impactou a colaboração e retardou consideravelmente a iteração nos modelos.

• Os analistas de dados não estavam aproveitando todo o potencial dos dados: eles precisavam de acesso a subconjuntos de dados estruturados para criar business intelligence e produzir relatórios.

Análises mais rápidas e seguras e ML em escala

Através do uso de NLP e machine learning, o HSBC consegue entender rapidamente a intenção de cada transação em seu aplicativo PayMe. Essa ampla gama de informações é usada para informar vários casos de uso, desde recomendações a clientes até a redução de atividades irregulares.

Com o Azure Databricks, o banco pode unificar as análises de dados em data engineering, data science e analistas.

• Eficiência operacional aprimorada: recursos como dimensionamento automático de clusters e compatibilidade com Delta Lake melhoraram as operações, desde a ingestão de dados até o gerenciamento de todo o ciclo de vida do machine learning.

• Mascaramento de dados em tempo real com Delta Lake: a Databricks e o Delta Lake permitiram que o HSBC entregasse com segurança dados de produção anônimos em tempo real para equipes de análise de dados e data science.

• Pipelines de dados poderosos e escaláveis com Delta Lake: as equipes agora processam dados em tempo real para análise downstream e machine learning.

• Colaboração entre data science e data engineering: os dados são descobertos mais rapidamente, os recursos são projetados iterativamente e os modelos são desenvolvidos e treinados em alta velocidade.

Informações mais ricas levam ao aplicativo nº 1

A Databricks oferece ao HSBC uma plataforma de análise de dados unificada que centraliza todos os aspectos de seu processo de análise, desde data engineering até a produção de modelos de ML que fornecem insights de negócios mais ricos.

• Pipelines de dados mais rápidos: automatização de processos e redução do tempo de processamento de dados de seis horas para seis segundos para análises complexas.

• Da descrição à previsão: é possível treinar modelos em todos os seus dados, a equipe implantou modelos preditivos para otimizar vários casos de uso.

• De 14 bancos de dados para 1 Delta Lake: passando de 14 réplicas de banco de dados de leitura para um único armazenamento de dados unificado com Delta Lake.

• PayMe é o aplicativo nº 1 em Hong Kong: 60% de participação de mercado em Hong Kong.

• Melhor envolvimento do consumidor: permite aproveitar a ciência da rede para entender o relacionamento com o cliente resultou em uma melhoria de 4,5 vezes nos níveis de envolvimento com o aplicativo PayMe.