Hoje, estamos entusiasmados em receber a equipe Fennel na Databricks. Fennel melhora a eficiência e a atualização de dados dos pipelines de engenharia de recursos para dados em lote, streaming e em tempo real, recalculando apenas os dados que foram alterados. Integrar as capacidades da Fennel na Plataforma de Inteligência de Dados Databricks ajudará os clientes a iterar rapidamente sobre recursos, melhorar o desempenho do modelo com sinais confiáveis e fornecer modelos GenAI com contexto personalizado e em tempo real — tudo isso sem o custo e a sobrecarga de gerenciar infraestruturas complexas.
Engenharia de Recursos na Era da IA
Os modelos de aprendizado de máquina são tão bons quanto os dados dos quais eles aprendem. É por isso que a engenharia de recursos é tão crítica: os recursos capturam os padrões específicos do domínio e comportamentais em um formato que os modelos podem interpretar facilmente. Mesmo na era da IA gerativa, onde grandes modelos de linguagem são capazes de operar em dados não estruturados, a engenharia de recursos continua sendo essencial para fornecer contexto personalizado, agregado e em tempo real como parte das solicitações. Apesar de sua importância, a engenharia de recursos tem sido historicamente difícil e cara devido à necessidade de manter pipelines ETL complexos para calcular recursos frescos e corretamente transformados. Muitas organizações lutam para lidar com fontes de dados em lote e em tempo real e garantir a consistência entre os ambientes de treinamento e serviço — sem mencionar fazer isso mantendo a qualidade alta e os custos baixos.
Fennel + Databricks
Fennel aborda esses desafios e simplifica a engenharia de recursos, fornecendo uma plataforma totalmente gerenciada para criar e gerenciar recursos e pipelines de recursos de forma eficiente. Ele suporta o processamento unificado de dados em lote e em tempo real, garantindo a atualização de recursos e eliminando a distorção de treinamento-serviço. Com sua experiência de usuário nativa em Python, a criação de recursos complexos é rápida, fácil e acessível para cientistas de dados que não precisam aprender novas linguagens ou depender de equipes de engenharia de dados para construir pipelines de dados complexos. Seu motor de cálculo incremental otimiza os custos, evitando trabalho redundante, e suas ferramentas de governança de dados de primeira linha ajudam a manter a qualidade dos dados. Ao lidar com todos os aspectos do gerenciamento de pipeline de recursos, o Fennel ajuda a reduzir a complexidade e o tempo necessário para desenvolver e implantar modelos de aprendizado de máquina e ajuda os cientistas de dados a se concentrarem na criação de melhores recursos para melhorar o desempenho do modelo, em vez de gerenciar infraestrutura e ferramentas complicadas.
A equipe da Fennel traz uma vasta experiência em engenharia de recursos moderna para aplicações de aprendizado de máquina, com a equipe fundadora liderando os esforços de infraestrutura de IA na Meta e no Google Brain. Desde a sua fundação em 2022, a Fennel tem sido bem-sucedida em executar sua visão de facilitar para empresas e equipes de qualquer tamanho a utilização de aprendizado de máquina em tempo real para construir produtos encantadores. Clientes como Upwork, Cricut e outros contam com a Fennel para construir recursos de aprendizado de máquina para uma variedade de casos de uso, incluindo decisões de risco de crédito, detecção de fraude, confiança e segurança, classificação personalizada e recomendações de mercado.
A equipe Fennel se juntará à organização de engenharia da Databricks para garantir que todos os clientes possam acessar os benefícios da engenharia de recursos em tempo real na Plataforma de Inteligência de Dados Databricks. Fique ligado para mais atualizações sobre a integração e veja o Fennel em ação no Data + AI Summit de 9 a 12 de junho em San Francisco!
(This blog post has been translated using AI-powered tools) Original Post