Liderar o futuro do transporte de carga

O desenvolvimento é impossível sem dados unificados

A J.B. Hunt Transport, Inc., com sua missão de criar a rede de transporte mais eficiente da América do Norte, fornece soluções de transporte baseadas em ativos/não ativos, incluindo correspondência dinâmica de frete. No processo, a empresa considera detalhes como preço, peso e localização para atender às suas necessidades de transporte com a capacidade das transportadoras disponíveis. O problema? A indústria de transporte é altamente fragmentada, com aproximadamente 3,5 milhões de motoristas no setor como um todo. Dados em tempo real e análises significativas são necessários para melhorar os sistemas de correspondência que considere esse estado fragmentado.

Para atingir esse objetivo, a J.B. Hunt precisava ser capaz de aproveitar o valor dos dados armazenados em plataformas tradicionais de data warehouse corporativos (EDW), que tinham usabilidade limitada para a tomada de decisões em tempo real. O sistema não conseguia processar e armazenar a grande quantidade de dados gerados a partir de pings de localização a cada 15 minutos de centenas de milhares de cargas em movimento. Também exigia uma segurança de dados rigorosa para garantir que os dados confidenciais fossem acessados pelos usuários apropriados. Por fim, também precisava da capacidade de oferecer suporte a streams de dados gerados por sensores de IoT em caminhões e contêineres que normalmente não são de propriedade da empresa. Sem esses recursos, os casos de uso de telemetria usando machine learning (ML) e IA não poderiam ser implementados.

Criação de uma arquitetura de lakehouse escalonável, aberta e unificada

A J.B. Hunt decidiu trabalhar com o Google Cloud e o Databricks Lakehouse para criar uma plataforma integrada de BI e IA capaz de capturar qualquer formato de dados e permitir análises em tempo real para engenheiros de dados, data scientists e outras funções em toda a empresa. Com a Databricks, a J.B. Hunt implementou com sucesso uma plataforma de data lakehouse aberta, interoperável e de alta velocidade para J.B. Hunt 360°®, que permitiu fornecer aos clientes serviços de transporte incomparáveis e garantir sua posição no mercado na América do Norte.

Com base no Delta Lake, a J.B. Hunt conseguiu reunir todos os seus dados em um só lugar para facilitar o acesso dentro da organização, garantindo o desempenho e a confiabilidade dos pipelines de dados de streaming em qualquer escala. A empresa transferiu terabytes de dados existentes para a plataforma, e a camada de armazenamento aberto do Delta Lake deu eficiência e portabilidade à equipe de dados. Com streaming em tempo real para o Delta Lake, a J.B. Hunt conseguiu analisar conjuntos de dados maiores e mais completos, permitindo que a análise e o ML fossem executados mais rápido do que nunca. A equipe de data science pode usar o MLflow para reproduzir códigos e experiments e torná-los reutilizáveis para data scientists. “Foi importante basear nossas várias operações em uma plataforma que nos deu a flexibilidade de implantar casos de uso rapidamente, independentemente de qual nuvem ou conjunto de ferramentas estávamos usando”, explicou Joe Spinelle, diretor de engenharia e tecnologia da J.B. Hunt.

Juntamente com o Databricks Lakehouse, a empresa também usa o Immuta, uma plataforma automatizada de governança de dados. Do ponto de vista da segurança, o Immuta fornece um nível adicional de segurança de dados que amplia os recursos de segurança dos EDWs existentes. Agora, você pode automatizar seus processos de governança de dados para garantir que os usuários certos tenham acesso aos dados de que precisam para tomar decisões de negócios importantes. Isso ocorre graças à aplicação de mascaramento de dados em nível de coluna. Ele usa segurança granular que vai além do controle de acesso baseado em função tradicional, a capacidade de definir políticas de segurança globais e locais e a capacidade de auditar totalmente quem acessou quais dados.

“Combinar as duas soluções nos permitiu ter o nível de segurança de dados flexível de que precisávamos para permitir que os usuários acessassem relatórios sem se preocupar em acessar dados confidenciais”, explicou Tina Headrick, gerente sênior de engenharia e tecnologia da J.B. Hunt.

Fonte única de informações que proporciona eficiência operacional

Em termos de colaboração, a Databricks conseguiu reunir a equipe de dados da J.B. Hunt para tornar a data science mais produtiva como um todo. “Com a Databricks, tudo fica no mesmo repositório, na mesma estrutura de notebook, na mesma linguagem, na mesma versão, e esse é o ponto”, explicou Douglas Mettenburg, vice-presidente de engenharia e tecnologia.

O sucesso da Databricks na J.B. Hunt resultou em enormes ganhos de desempenho. Por exemplo, podemos treinar milhares de modelos de ML em menos de quatro horas e fornecer recomendações sobre cargas às transportadoras 99,8% mais rápido do que antes. “Por fim, a Databricks se tornou a fonte de transparência para a J.B. Hunt”, complementa Doug. “Ela mostra o valor real que os dados e a tecnologia podem oferecer à empresa como um todo.”