Criação de um negócio omnicanal eficiente do ponto de vista operacional
em economia devido à melhoria da produtividade
redução nos custos de compute
Os clientes brasileiros contam com a Via (antiga Via Varejo) para uma ampla seleção de produtos e serviços, como eletrônicos de consumo, eletrodomésticos, móveis e cartões de crédito. Mas, com décadas de dados em silos influenciando diferentes decisões de negócios e um data warehouse Hadoop complexo e que não promovia a inovação de ML, a Via teve dificuldades em prever com precisão a demanda, o que impactava toda a cadeia de fornecimento. Ao unificar dados e análises na Plataforma Databricks Lakehouse, a Via conseguiu desenvolver uma arquitetura escalável que permite acesso a dados em toda a organização. Isso permitiu um tempo de lançamento no mercado mais rápido para operacionalizar o machine learning e forneceu insights que revelaram tendências críticas dos consumidores para otimizar as operações de negócios, evitar atividades fraudulentas e criar uma experiência de varejo mais direcionada nos pontos de contato.
Reunindo décadas de dados desconectados
Os consumidores compram com a Via, uma grande varejista brasileira com quase 100 milhões de clientes, há mais de 60 anos. Mas, com décadas de dados desalinhados e canais em silos impactando como as decisões foram (e ainda estão sendo) tomadas em toda a organização, a equipe de dados da Via tem dificuldade para conseguir uma imagem completa da demanda do consumidor para moldar as operações de negócios e as considerações da cadeia de fornecimento.
Devido à longevidade e à natureza do negócio, a Via tinha muitos ambientes de transação tradicionais, incluindo um mainframe construído em Hadoop. Ao longo dos anos, a empresa consolidou tudo com um data warehouse Teradata, complexo de gerenciar e incapaz de atender às necessidades de seus data scientists, forçando-os a criar e treinar modelos em laptops individuais. Sem a capacidade de colaborar e escalar o treinamento em todo o conjunto de dados, os data scientists não podiam avaliar totalmente os insights no contexto das informações relacionadas.
“A colaboração foi um grande desafio, assim como a escalabilidade”, afirmou Cezar Steinz, Gerente de MLOps da Via. “Nós precisávamos treinar nossos modelos com dados completos, que podem ser mais de 24 bilhões de linhas de informações. É impossível treinar esses tipos de modelos em um laptop.“
Isso resultou em uma diminuição da precisão na análise, o que desestabilizou tudo, desde a jornada do cliente até a prevenção de fraudes, e acabou minando a receita e desacelerando o crescimento. A Via percebeu que, para capacitar totalmente seus data scientists e analistas de dados, precisava não apenas de uma camada de dados comum, mas também da capacidade de operacionalizar seus dados de maneira eficiente e colaborativa para ajudar na otimização da cadeia de fornecimento, previsão de demanda e muito mais. Para criar uma estrutura de dados unificada e otimizar análises e ML, a Via recorreu à Databricks.
Governança de dados, prevenção de fraudes e demanda dos consumidores
A Plataforma Databricks Lakehouse no Azure permitiu que a Via acessasse insights que resultam em melhores decisões de negócios, incluindo cálculo de rotatividade, determinação da próxima melhor oferta ou ação (NBO/NBA), detecção e mitigação de fraudes e desenvolvimento de modelos de preços que impulsionam conversões e serviços de finanças (personalização de crédito e outras formas de pagamento).
Com a abordagem de lakehouse, a Via agora tem uma visão comum de seus dados para análise e ML. O Delta Lake é usado para fornecer consistência e confiabilidade de dados à medida que a empresa cria pipelines ETL para alimentar dashboards de BI por meio de integrações com o Power BI, além de oferecer suporte ao treinamento de modelos de ML. Mais importante, a empresa é capaz de entregar, com alto desempenho e confiança, o que é fundamental para atender às suas necessidades diárias de tomada de decisão.
“A Databricks nos oferece uma melhor governança de dados”, contou Steinz. “Com o Delta Lake, um analista pode acessar os dados exatos necessários para abordar o caso de uso específico em questão. Se estivermos falando de uma transportadora logística, por exemplo, acessamos apenas as tabelas de dados logísticos relevantes. O ideal é que possamos compartilhar dados específicos com as pessoas certas.” O Delta Lake também oferece à Via melhor rastreabilidade para que a empresa possa entender melhor como seus dados estão sendo usados e se podem reutilizar alguns de seus dados em diferentes modelos de ML.
A Feature Store, um repository centralizado de recursos, forneceu aos data scientists e analistas de dados da Via a capacidade de compartilhar e descobrir recursos com facilidade. Isso permitiu que eles realmente unificassem não apenas seus dados, mas também as equipes que estão acessando e usando os dados para tomar decisões melhores e mais inteligentes para os negócios. “A Feature Store da Databricks nos permite criar um ambiente robusto e estável para desenvolver e reutilizar recursos consumidos por modelos”, explicou Steinz. “Isso permitiu mais produtividade aos nossos data scientists e analistas de dados, pois eles não precisavam mais perder tempo convertendo dados em recursos do zero todas as vezes.”
Com seus dados centralizados no lakehouse, os analistas da empresa usam o Databricks SQL para analisar dados rapidamente e compartilhar insights com o restante das equipes por meio de dashboards e relatórios do Power BI. E, com o MLflow, os data scientists da Via podem gerenciar facilmente todo o ciclo de vida do ML, desde o rastreamento de versões do modelo até a execução de experimentos e a revisão dos resultados. “Criar um projeto com MLflow é de suma importância, pois viabiliza o empacotamento de um modelo para rodarmos em qualquer plataforma”, explica Steinz. “Isso significa que não estamos mais limitados à forma como implantamos o ML para influenciar nossos negócios.”
Democratização de dados e modelos de ML simplificados
Com o desempenho de dados em alta e a data science trabalhando com todos os seus dados, a Via conseguiu desenvolver e implantar rapidamente modelos de ML que ajudam na previsão de rotatividade, recomendações de produtos, análise de fraude e crédito e análise comportamental dos clientes. Esses vários casos de uso permitiram que a Via oferecesse uma experiência de compra segura e altamente direcionada para atender às necessidades de seus clientes inconstantes, resultando em maior conversão e valor vitalício do cliente. Na parte de análises, uma visão unificada de seus dados oferece a capacidade de extrair insights que ajudam a orientar estratégias desde a simplificação das operações da cadeia de fornecimento até oportunidades para inovações de novos produtos que encantam seus clientes.
Do ponto de vista operacional, a Databricks ajudou a reduzir os custos de compute e a aumentar a colaboração entre equipes. Em toda a organização de dados, a Via percebeu um aumento de 30% na produtividade, resultando em uma economia total estimada de R$ 3,9 milhões. Com a ajuda da Feature Store e do gerenciamento automatizado de cluster, a empresa também observou uma queda de 25% nos custos de processamento de dados.
“Nosso departamento de dados cresceu exponencialmente conforme atendemos às expectativas de negócios com entregas rápidas, consistentes e de alto valor”, declarou Steinz. “Isso só é possível por causa da Plataforma Databricks Lakehouse e dos especialistas por trás dela.”
Olhando para o futuro, com a democratização dos dados profundamente enraizada em sua cultura, a Via está bem preparada para cumprir sua missão de realizar os sonhos dos clientes, aproveitando dados e IA para oferecer a melhor experiência de compra possível.
