Simplificando o On-Boarding de Produtos com IA Generativa

O registro de novos produtos pode ser um processo complexo e demorado para fornecedores e varejistas. Os varejistas frequentemente relatam problemas com informações de produtos incompletas, imprecisas ou de baixa qualidade, o que dificulta o processo de integração. Os fornecedores, por outro lado, muitas vezes se sentem sobrecarregados por solicitações redundantes ou sobrepostas de informações e lutam para fornecer os detalhes extensos exigidos por seus parceiros de varejo. Com o número de produtos disponíveis, especialmente em sites online, continuamente expandindo, a necessidade de melhorar esse processo para ambas as partes está apenas crescendo, e através do uso de IA generativa, podemos fazer exatamente isso.

Usando IA Generativa para Enfrentar Desafios Comuns de Dados de Produtos

Como podemos abordar essa oportunidade depende dos desafios particulares que enfrentamos durante a integração de produtos.  No mínimo, podemos inspecionar vários elementos como nomes e descrições de produtos e perguntar a um modelo de IA generativa se esses detalhes são consistentes e, se não, por quê.  Também podemos procurar problemas comuns como a inclusão de palavras mal escritas, abreviações e especificações técnicas que pertencem a outras seções e pedir ao modelo para limpar esses para nós (Figura 1).

Figura 1. Uma amostra de descrição de produto antes e depois da aplicação do modelo Llama 3.1 8B Instruct para tornar o texto mais acessível.

Indo um passo além, podemos solicitar a um modelo que examine as imagens associadas a um produto e extraia uma descrição do item com a qual podemos comparar outros elementos para verificar novamente a consistência (Figura 2).

Figura 2. A imagem de um produto e uma descrição extraída usando o modelo Llama 2.3 11B Vision.

Para auxiliar nas buscas, podemos pedir ao modelo para usar as descrições fornecidas, bem como as extraídas (e metadados relacionados) para sugerir palavras-chave e termos de busca (Figura 3).

Figura 3. Termos de busca gerados para a churrasqueira descrita nas Figuras 1 e 2 usando o modelo Llama 3.1 8B Instruct.

Também podemos pedir ao modelo para determinar propriedades chave da imagem, como o item principal e usar essa informação para abordar quaisquer detalhes que um fornecedor possa não ter fornecido durante o registro (Figura 4).

Figura 4. A imagem do produto e a cor primária conforme determinado usando o modelo Llama 2.3 11B Vision.

Um dos principais desafios ao usar esses modelos dessa maneira é que os resultados podem nem sempre se conformar com as restrições que podemos definir para um campo.  Por exemplo, podemos extrair um valor de Prata para a cor principal de um aparelho quando precisamos que a cor esteja alinhada com as opções suportadas de Cinza ou Metálico.  Nestes cenários, podemos fornecer ao modelo uma lista de escolhas aceitáveis e pedir que ele limite sua resposta àquela que melhor se alinha com o item sendo inspecionado.

Ainda outra abordagem pode ser usar várias propriedades para realizar uma busca semântica, uma técnica de IA generativa onde textos ou imagens são convertidos em índices numéricos onde itens conceitualmente semelhantes tendem a ser posicionados próximos uns dos outros. Usando essa técnica com um conjunto pré-aprovado de detalhes de itens de alta qualidade, podemos identificar itens intimamente relacionados e recuperar propriedades relevantes, como sua posição em uma hierarquia de produtos, a partir deles.

Armados com uma ampla gama de abordagens, temos escolhas a fazer sobre como estruturaremos a aplicação também.  Em implementações iniciais, estamos vendo organizações implementarem processos em lote, validando e corrigindo dados de entrada após a submissão do fornecedor, para que os procedimentos existentes de integração de produtos não sejam interrompidos. Uma vez que os prompts e modelos estão adequadamente ajustados para fornecer resultados confiáveis, muitas vezes vemos interesse em avançar para o desenvolvimento de novas aplicações de integração onde a IA generativa é empregada no momento da entrada de dados, identificando problemas à medida que surgem e sugerindo alternativas aos fornecedores. Ambas as abordagens podem ser eficazes, mas diferem em termos do gerenciamento de mudanças envolvido.

Utilizando a Plataforma Databricks para Construir a Solução

Seja em lote ou em tempo real, a implementação desses fluxos de trabalho de IA generativa é simplificada pela Plataforma de Inteligência de Dados da Databricks. Com suporte para uma ampla variedade de formatos de dados, a Databricks pode processar as entradas de dados estruturados e não estruturados com facilidade. Devido à sua natureza aberta, a plataforma suporta uma ampla gama de modelos de IA generativa, muitos dos quais são pré-integrados para facilitar o acesso. Tecnologias periféricas como um armazenamento de vetores, um banco de dados especializado que permite a pesquisa semântica, também são pré-integrados, simplificando a implementação.

Em relação ao aplicativo a ser construído, a Databricks também oferece suporte para fluxos de trabalho em lote e em tempo real, permitindo que os dados sejam processados nos bastidores à medida que novas informações chegam.  Para aqueles casos em que uma aplicação interativa voltada para o usuário é preferida, as capacidades de aplicação integradas da plataforma simplificam a construção e implantação de soluções escaláveis e integradas para públicos internos e externos. 

A amplitude de capacidades na Plataforma de Inteligência de Dados da Databricks permite que organizações que buscam construir soluções de on-boarding de produtos se concentrem nos detalhes do que desejam habilitar e não em como podem reunir as peças necessárias para construí-lo.

Quer Ver Isso em Ação?

Para ajudar a demonstrar como as organizações podem usar a IA gerativa na Plataforma de Inteligência de Dados Databricks para resolver problemas comuns de integração de produtos, construímos um novo acelerador de soluções demonstrando várias técnicas.  Usando imagens de produtos e metadados do Conjunto de Dados de Objetos da Amazon Berkeley (ABO), demonstramos como essas técnicas podem ser empregadas em um fluxo de trabalho de processamento em lote para identificar e corrigir diversos problemas.  Ao ocultar alguns detalhes dos modelos de IA generativos, conseguimos verificar as correções que estão sendo feitas para ganhar confiança de que nossos modelos selecionados estão funcionando conforme o esperado.  Encorajamos as organizações interessadas em usar a IA gen para resolver desafios de integração de produtos a revisar nosso código, se inspirar nas técnicas mostradas, pegar qualquer código que funcione para eles e começar a construir suas soluções de integração de produtos hoje com a Databricks.

Baixe nosso Acelerador de Soluções para Onboarding de Produtos com IA Generativa.

(This blog post has been translated using AI-powered tools) Original Post