Model Serving

Implementazione e governance unificate per tutti i modelli AI

Prova gratuita Programma una demo

Utilizzare il machine learning in produzione su larga scala con il lakehouse

Dibattiti. Demo. Tavole rotonde con clienti. Q&A.

Guarda

Introduzione

Databricks Model Serving è un servizio unificato per implementare, gestire, interrogare e monitorare modelli ottimizzati o preinstallati di Databricks, come Llama 2, MosaicML MPT o BGE, oppure di altri fornitori, come Azure OpenAI, AWS Bedrock, AWS SageMaker e Anthropic. Il nostro approccio unificato agevola la sperimentazione e la produzionalizzazione di modelli provenienti da qualsiasi cloud o fornitore, individuando il miglior candidato per ogni applicazione in tempo reale. Si possono eseguire test A/B d diversi modelli e, una volta implementati, monitorarne la qualità su dati di produzione in tempo reale. Model Serving dispone anche di modelli preinstallati come Llama2 70B, che ti permettono di iniziare subito a sviluppare applicazioni come la generazione aumentata (RAG o Retrieval Augmented Generation) e ti forniscono un accesso a pagamento (pay-per-token) o una capacità di calcolo a pagamento (pay-for-provisioned) per garantirti la produttività necessaria.

Citazioni dei clienti

Implementazione semplificata per tutti i modelli AI

Implementa qualsiasi tipo di modello, dai modelli open-source preaddestrati ai modelli personalizzati costruiti con i tuoi dati, su CPU e GPU. La creazione di container e la gestione dell'infrastruttura automatizzate riducono i costi di manutenzione e velocizzazione la distribuzione, consentendo di concentrare l'attenzione sulla costruzione dei progetti di AI e sulla creazione di valore aggiunto per l'attività in tempi più rapidi.

Gestione unificata per tutti i modelli

Gestisci tutti i modelli, inclusi modelli ML personalizzati come PyFunc, scikit-learn e LangChain, modelli di base (Foundation Model) su Databricks come Llama 2, MPT e BGE, e modelli di base ospitati altrove come ChatGPT, Claude 2, Cohere e Stable Diffusion. Model Serving rende tutti i modelli accessibili attraverso un'interfaccia utente unificata e API, inclusi i modelli ospitati da Databricks o da altri fornitori su Azure e AWS.

Effortless batch inference

Model Serving enables efficient AI inference on large datasets, supporting all data types and models in a serverless environment. You can seamlessly integrate with Databricks SQL, Notebooks and Workflows to apply AI models across vast amounts of data in one streamlined operation. Enhance data processing, generate embeddings and evaluate models — all without complex rework.

Governance integrata

Rispetta tutti requisiti di sicurezza e governance grazie alla possibilità di attivare permessi idonei, monitorare la qualità dei modelli, definire limiti di velocità e tracciare la provenienza di tutti i modelli ospitati su Databricks o su qualsiasi altro provider.

Modelli incentrati sui dati

Accelera le implementazioni e riduci gli errori grazie alla stretta integrazione con la Data Intelligence Platform. Puoi ospitare facilmente modelli di AI generativa, di generazione aumentata (RAG) o ottimizzati con i dati aziendali. Model Serving offre funzionalità automatizzate di ricerca, monitoraggio e governance lungo tutto il ciclo di vita dell'AI.

Economicamente vantaggioso

Il model serving può essere eseguito come API a bassa latenza su un servizio serverless ad alta disponibilità con supporto di CPU e GPU. Puoi espandere la soluzione senza fatica partendo da zero per soddisfare le esigenze più critiche (ed eventualmente ridimensionarla). Puoi iniziare a lavorare velocemente con uno o più modelli preinstallati e carichi di lavoro a pagamento (pay-per-token secondo fabbisogno senza impegno o pay-for-provisioned in base alla capacità richiesta) per avere una produttività garantita. Databricks si farà carico della gestione dell'infrastruttura e dei costi di manutenzione, così la tua azienda potrà concentrarsi sulla generazione di valore.