Mosaic AI Agent Framework
Build production-quality retrieval augmented generation (RAG) apps
Retrieval Augmented Generation (RAG) ist ein GenAI-Anwendungsmuster. RAG findet Daten/Dokumente, die für eine Frage oder Task relevant sind, und stellt sie als Kontext für das verwendete Large Language Model (LLM) bereit, um präzisere Antworten geben zu können.
Databricks bietet eine Palette von RAG-Tools an, mit denen Sie alle Aspekte des RAG-Prozesses kombinieren und optimieren können, z. B. Datenaufbereitung, Abfragemodelle, Sprachmodelle (SaaS oder Open Source), Ranking- und Nachbearbeitungspipelines, Prompt Engineering und Training von Modellen mit eigenen Unternehmensdaten.
Auf Open-Source- und proprietäre SaaS-Modelle zugreifen
Mit Databricks können Sie jedes beliebige GenAI-Modell implementieren, überwachen, verwalten und abfragen. Alle gängigen Modelle wie LangChain, Llama 2, MPT und BGE sowie Modelle auf Azure OpenAI, Amazon Bedrock, Amazon SageMaker und Anthropic können in Model Serving verwaltet und gesteuert werden. So können Sie mit Modellen ganz einfach experimentieren und sie produktiv einsetzen, um das am besten geeignete Modell für Ihre RAG-Anwendung zu finden.
Automatisierte Echtzeit-Pipeline für beliebige Datentypen
Databricks unterstützt nativ die Bereitstellung und Indizierung Ihrer Daten für den Online-Abruf. Unstrukturierte Daten (Text, Bilder und Videos) werden von Vector Search automatisch indiziert und bereitgestellt. So werden sie für RAG-Anwendungen zugänglich, ohne dass separate Datenpipelines erstellt werden müssten. Im Hintergrund verwaltet Vector Search Ausfälle, verarbeitet Wiederholungsversuche und optimiert die Batch-Größen, um Ihnen beste Leistung, maximalen Durchsatz und niedrigste Kosten zu bieten. Für strukturierte Daten stellt Feature and Function Serving Abfragen von Kontextdaten im Millisekundenbereich bereit, z. B. Benutzer- oder Kontodaten, die Unternehmen häufig in Prompts einfügen, um sie auf der Grundlage von Benutzerinformationen anzupassen.
RAG-Anwendungen schnell in die Produktion überführen
Mit Databricks können Sie Large Language Models, die von Databricks oder einem anderen Modellanbieter feinabgestimmt oder vorab eingerichtet wurden, problemlos implementieren, verwalten, abfragen und überwachen. Databricks Model Serving erledigt die automatische Erstellung von Containern und die Verwaltung der Infrastruktur, um Wartungskosten zu senken und die Implementierung zu beschleunigen.
Integrierte Governance
Bei Databricks sind Sicherheit, Governance und Monitoring bereits integriert. RAG-Anwendungen bieten hochdifferenzierte Zugriffskontrollen für Daten und Modelle. Sie können Quotenbeschränkungen festlegen und die Herkunft modellübergreifend verfolgen. Dadurch wird gewährleistet, dass die RAG-Anwendung keine vertraulichen Daten an Benutzer weitergibt, die keinen Zugriff darauf haben sollten.