Costruisci App RAG di Alta Qualità con il Framework Mosaic AI Agent e la Valutazione dell'Agente, il Servizio del Modello e la Ricerca Vettoriale

Gli LLM stanno rivoluzionando il modo in cui interagiamo con le informazioni, dalle basi di conoscenza interne alla documentazione o al supporto esterno rivolto al cliente.

Impara come creare e implementare un chatbot Q&A in tempo reale utilizzando la generazione aumentata di recupero (RAG) di Databricks e le capacità serverless, sfruttando il Modello di Base DBRX Instruct per risposte intelligenti.

RAG è una potente tecnica in cui arricchiamo il prompt LLM con un contesto aggiuntivo specifico per il tuo dominio in modo che il modello possa fornire risposte migliori.

Questa tecnica fornisce risultati eccellenti utilizzando modelli pubblici senza dover distribuire e perfezionare i tuoi LLM.

Imparerai come:

• Prepara documenti puliti per costruire la tua base di conoscenza interna e specializzare il tuo chatbot
• Sfrutta la ricerca vettoriale di Databricks con il nostro punto finale del modello di base per creare e memorizzare gli embedding dei documenti
• Cerca documenti simili nel nostro database di conoscenze con Databricks Vector Search
• Implementa un modello in tempo reale utilizzando RAG e fornendo un contesto aumentato nel prompt
• Sfrutta il modello di istruzione DBRX attraverso l'endpoint del Modello di Base Databricks (completamente gestito)
• Distribuisci la tua applicazione di valutazione dell'agente Mosaic AI per esaminare le risposte e valutare il dataset
• Distribuisci un Front-end del chatbot utilizzando l'applicazione Lakehouse

 

Per eseguire la demo, ottieni un spazio di lavoro Databricks gratuito ed esegui i seguenti due comandi in un notebook Python: