Intelligenza artificiale generativa

Cos'è l'IA generativa?

L'IA generativa, spesso abbreviata in GenAI, è qualsiasi tipo di intelligenza artificiale capace di creare nuovo contenuto da sola. I contenuti di intelligenza artificiale generativa includono testo, immagini, video, musica, traduzioni, riassunti e codice. Può anche completare certi compiti, come rispondere a domande aperte, eseguire istruzioni quasi arbitrarie e partecipare a chat.

Il grande pubblico è stato introdotto al significato di GenAI da servizi come ChatGPT e DALL-E, che hanno anche notevolmente aumentato la popolarità della tecnologia.

Come funziona l'intelligenza artificiale generativa?

I modelli GenAI utilizzano il deep learning per identificare e analizzare i pattern nei set di dati esistenti. Simili al comportamento del cervello umano, utilizzano trasformatori e altre architetture di deep learning per elaborare e "apprendere" dai set di dati. Questi modelli AI vengono addestrati su enormi quantità di dati per creare contenuti nuovi e originali.

Puoi dare al modello di IA un "prompt" una volta che è stato addestrato inserendo qualcosa come testo, un'immagine o una sequenza di note musicali. Gli algoritmi generano quindi nuovo contenuto in cambio. Possono anche lavorare su diversi media, ad esempio, utilizzando un'immagine per creare una didascalia di testo o generando un'immagine da una descrizione di testo.

Un tipo comune di modello di intelligenza artificiale generativa è large language models (LLMs), che vengono addestrati su testi. Questi modelli imparano a riconoscere parole che vengono utilizzate in sequenza. Possono quindi formare una frase prevedendo quale parola è più probabile che segua in una sequenza, risultando in un output che suona naturale.

Esempi di modelli di intelligenza artificiale generativa

Ci sono diversi tipi di modelli di IA generativa attualmente in uso. I loro metodi e casi d'uso differiscono, ma tutti combinano vari algoritmi per elaborare e creare contenuti.

Reti generative avversarie (GANs)

Un modello GAN contiene due reti neurali, che vengono formate allo stesso tempo. Queste reti sono chiamate generatore e discriminatore, e competono l'una contro l'altra in uno scenario di tipo gioco. 

Il generatore crea nuovi output, come un'immagine basata su un prompt. Il discriminatore poi valuta questo nuovo contenuto per autenticità e fornisce feedback al generatore per aiutare a migliorare la sua produzione. Il generatore cerca sempre di ingannare il discriminatore per far accettare il contenuto generato come "reale", mentre il discriminatore si sforza sempre di diventare migliore nel distinguere la differenza.

Un esempio noto di un modello GAN è Midjourney (uno strumento GenAI da testo a immagine). Tuttavia, i GAN non sono limitati alla creazione di immagini; hanno anche prodotto contenuti di testo e video. 

La continua competizione tra il generatore e il discriminatore del GAN significa che possono generare rapidamente output di alta qualità. Tuttavia, è importante garantire che le due reti siano bilanciate per evitare problemi come l'overfitting, il crollo del modo e i gradienti diminuiti.

Autoencoder variationali (VAE)

Anche i modelli autoencoder utilizzano due reti per interpretare e generare dati. In questo modello, le reti vengono chiamate encoder e decoder. La rete encoder viene addestrata a comprimere i dati in un formato semplificato, o latente, che cattura le caratteristiche chiave. Nel frattempo, il modello del decoder è addestrato a ricostruire il contenuto dai dati latenti. 

I VAE utilizzano spazi latenti continui per consentire variazioni locali tra i punti dati di addestramento. Decodificando le informazioni compresse leggermente modificate, il modello VAE produce contenuti simili, ma in ultima analisi originali.

Questo modello è spesso utilizzato per la generazione di immagini e il rilevamento di anomalie, ma può anche creare testi e audio. I VAE sono veloci nel generare output come immagini, ma possono mancare di dettaglio rispetto ad altri modelli.

Autoregressivo

I modelli di intelligenza artificiale generativa autoregressiva creano nuovi campioni considerando il contesto degli elementi che sono stati generati in precedenza. Modellano la distribuzione di probabilità condizionale di ogni punto dati e generano nuovi dati prevedendo l'elemento successivo nella sequenza.

Questi modelli generano dati sequenzialmente, un elemento alla volta, consentendo la generazione di sequenze complesse. L'IA autoregressiva viene tipicamente utilizzata nella generazione di testo (come ChatGPT), nella modellazione del linguaggio e nella composizione musicale.

Modelli di diffusione

I modelli di diffusione sono talvolta chiamati anche modelli probabilistici di diffusione per la rimozione del rumore (DDPMs). Sono addestrati con un processo a due passaggi che coinvolge la diffusione in avanti e la diffusione inversa. 

Durante la diffusione in avanti, il rumore gaussiano casuale viene gradualmente aggiunto ai dati di addestramento, distruggendoli efficacemente. L'IA impara quindi a ricostruire i campioni attraverso la diffusione inversa. Una volta completamente addestrati, i modelli di diffusione possono creare nuovi dati da rumore completamente casuale.

Transformers

I Transformers utilizzano un tipo specifico di apprendimento automatico che li aiuta a elaborare le relazioni a lungo termine tra i dati di input sequenziali. Questo richiede che i modelli vengano addestrati su set di dati più grandi.

Questo concetto, noto come "attenzione", permette ai trasformatori di capire quali parti dell'input influenzano altre parti, cioè, di capire il contesto. Questo le rende ideali per compiti di generazione di testo che coinvolgono l'elaborazione del linguaggio naturale (NLP), che richiede una comprensione del contesto. La maggior parte dei noti programmi di IA generativa sono esempi di modelli basati su trasformatori.

I transformer si sono dimostrati molto potenti generatori di testo. Questo perché hanno bisogno solo di testo come input di addestramento, e ci sono miliardi di pagine disponibili da utilizzare. Oltre a NLP, altri usi dei modelli di intelligenza artificiale transformer includono il tracciamento delle connessioni e l'identificazione delle relazioni all'interno del codice, delle proteine, delle sostanze chimiche e del DNA.

Qual è il ruolo del deep learning nell'AI generativa?

Il passaggio verso l'apprendimento profondo ha reso i modelli di intelligenza artificiale più sofisticati, permettendo loro di modellare dati sempre più complessi, come il linguaggio naturale. La maggior parte dei modelli di IA generativa utilizzeranno l'apprendimento profondo sotto il cofano.

Il nome apprendimento profondo deriva dal grande numero di strati di elaborazione utilizzati per questi modelli. Il primo strato di nodi interconnessi viene fornito con dati di addestramento. L'output da questo strato viene poi utilizzato come input per il prossimo strato. Poiché ogni strato si basa sulla conoscenza acquisita dallo strato precedente, la complessità e l'astrazione aumentano e i dettagli fini dei set di dati possono contribuire a comprendere i modelli su larga scala.

Mentre i programmatori devono eseguire l'estrazione delle caratteristiche durante l'apprendimento automatico tradizionale, i programmi di deep learning possono costruire rappresentazioni utili dei dati internamente con meno supervisione.

Inoltre, le tecniche di apprendimento profondo consentono ai modelli di IA di gestire concetti complessi e astratti, come la comprensione del linguaggio naturale e il riconoscimento delle immagini.

Ci sono diversi modi per migliorare le prestazioni dell'IA, come l'augmentazione dei dati, l'apprendimento trasferito e il fine-tuning. L'augmentazione dei dati utilizza modelli generativi per creare nuovi punti dati sintetici per i dati di addestramento. Questo viene poi aggiunto ai dati esistenti per aumentare la dimensione e la diversità dei dataset e, di conseguenza, l'accuratezza del modello.

L'apprendimento trasferito implica l'uso di un modello pre-addestrato per un secondo compito correlato. Sfruttando l'output dal modello esistente come input per un diverso problema di apprendimento, il modello può applicare la conoscenza acquisita dalla prima istanza di addestramento. Un esempio di apprendimento trasferito sarebbe l'uso di un modello addestrato per identificare le auto per addestrare un modello per identificare altri veicoli. L'apprendimento trasferito è utile in quanto riduce la quantità di dati necessari per addestrare un nuovo modello.

Infine, il fine-tuning è una tecnica per personalizzare un modello di IA addestrandolo con dati più specifici. Questo permette ai modelli pre-addestrati di essere perfezionati per l'uso in specifici domini o compiti. Per il fine-tuning sono necessari set di dati di alta qualità che rappresentano il compito finale.

Casi d'uso reali dell'intelligenza artificiale generativa

La tecnologia AI generativa ha un'ampia gamma di applicazioni nel mondo reale, dalla generazione di testi e immagini allo sviluppo di software. Diamo un'occhiata ad alcuni dei casi d'uso comuni attuali.

Generazione di immagini

Strumenti come DALL-E consentono agli utenti di creare nuove immagini (foto, illustrazioni e persino video) inserendo prompt visivi o scritti. I modelli multimodali possono creare immagini da istruzioni di testo, quindi gli utenti possono essere vaghi o specifici come preferiscono.

Ad esempio, potresti semplicemente chiedere un disegno basato su "animali" e "arcobaleni", e vedere cosa ne esce. Oppure potresti dare istruzioni dettagliate, come "un baby rinoceronte con gli occhiali da sole, che guarda un arcobaleno attraverso una finestra con tende viola".

Un'altra opzione è il trasferimento di stile, dove il contenuto di un'immagine viene combinato con lo stile visivo di un'altra. Inserisci un'immagine di contenuto (una foto di un rinoceronte) e un'immagine di riferimento di stile (un dipinto di Picasso), e l'intelligenza artificiale è in grado di mescolarle insieme per creare una nuova immagine di rinoceronte in stile Picasso.

Generazione di testo

Mentre uno dei casi d'uso GenAI basati su testo più noti sono i chatbot, la tecnologia può ora essere applicata a molti altri compiti. Ad esempio, strumenti come GrammarlyGo possono aiutare a scrivere e rispondere alle email in uno stile professionale.

Diciamo che devi produrre un depliant pubblicitario per un prodotto tecnico. Come essere umano, impiegheresti del tempo per leggere le caratteristiche e le specifiche, prendere appunti dettagliati e elaborare una bozza di narrazione. Un programma di IA generativa può fare tutto questo in pochi secondi dopo che fornisci le informazioni, creando contenuti pronti all'uso rapidamente. La generazione di testo è utile anche per il doppiaggio di film, la fornitura di sottotitoli per contenuti video o la traduzione di contenuti in varie lingue.

Composizione musicale

GenAI è in grado di scrivere musica in un genere specifico o di emulare lo stile di compositori specifici. Come con i generatori di immagini, puoi fornire dettagli o permettere piena libertà creativa, ad esempio, "Una canzone sui arcobaleni" o "una canzone per bambini di tre versi sui arcobaleni in tempo di valzer, accompagnata da ukulele e kazoo."

Puoi anche chiedere all'IA di fondere due pezzi diversi con il trasferimento di stile, ad esempio, la canzone di Buon Compleanno nello stile di Gershwin, o creare un remix. Amper Music crea tracce musicali da campioni preregistrati, mentre altri strumenti possono creare una colonna sonora riconoscendo gli oggetti nelle riprese video.

Quali sono le applicazioni industriali dell'intelligenza artificiale generativa?

Con così tanti modi in cui questa tecnologia può essere utilizzata, non sorprende che l'intelligenza artificiale generativa per il retail, i servizi finanziari, l'assistenza sanitaria e altro stia diventando la norma piuttosto che l'eccezione.

retail

Molte aziende di retail utilizzano già chatbot per automatizzare il servizio clienti e, con l'avanzamento dell'intelligenza artificiale generativa, questi chatbot diventeranno più sofisticati. In futuro, l'intelligenza artificiale potrebbe fornire ulteriori personalizzazioni per i clienti con camerini virtuali, sviluppo di prodotti e marketing proattivo. Le aziende di retail potrebbero anche trarre vantaggio dall'uso di GenAI per la pianificazione dell'inventario e della domanda, così come l'identificazione di phishing o frodi per una sicurezza più forte.

Servizi finanziari

Le aziende all'interno dell'industria dei servizi finanziari (FSI) stanno già investendo in GenAI per analizzare grandi quantità di dati. Un esempio di questo è il LLM BloombergGPT, che è stato annunciato all'inizio di quest'anno. L'IA con 50 miliardi di parametri è costruita appositamente per la segnalazione e la previsione FSI.

Altri usi dell'AI generativa nel FSI, sia ora che in futuro, includono la gestione del rischio e il rilevamento delle frodi, il miglioramento dell'efficienza operativa e l'aumento della personalizzazione del cliente.

Industria manifatturiera

Dalla Rivoluzione Industriale, l'industria manifatturiera ha cercato di ottimizzare l'efficienza attraverso l'automazione. L'IA generativa fornisce un nuovo strumento che spingerà questa industria verso il futuro ancora una volta.

L'IA può fornire rapporti automatizzati sulle operazioni di produzione continua, identificando lacune di performance o colli di bottiglia e utilizzando la priorizzazione basata sui dati per aumentare l'efficienza. Oltre a monitorare le operazioni, l'IA può anche monitorare le attrezzature e ridurre i tempi di inattività con la manutenzione predittiva e il risoluzione dei problemi.

Infine, gli LLMs nella produzione possono personalizzare l'esperienza del cliente, sia durante il servizio clienti che in certi prodotti, come veicoli o tecnologia intelligente.

Media

Come l'industria dell'intrattenimento utilizzerà l'IA è stato oggetto di molti dibattiti recenti. Tuttavia, ci sono molti modi in cui l'IA generativa può essere utilizzata senza influenzare i posti di lavoro nel settore.

L'analisi delle preferenze degli utenti, dei modelli di consumo e dei segnali dei social media da parte dei modelli AI può essere utilizzata per ottimizzare le raccomandazioni dei media da parte dei servizi di intrattenimento. I modelli GenAI potrebbero anche migliorare le pubblicità mirate. Tuttavia, lo sviluppo più entusiasmante riguardo ai LLM nell'intrattenimento è il potenziale per una narrazione immersiva e interattiva in cui le decisioni dello spettatore plasmerebbero la trama.

Sanità

In sanità, i modelli di intelligenza artificiale generativa possono aiutare con la scoperta di nuovi farmaci creando grafici per mostrare nuovi composti chimici e molecole. AstraZeneca utilizza già l'intelligenza artificiale per la scoperta di farmaci e, entro il 2025, si stima che più del 30% dei nuovi farmaci e materiali sarà scoperto utilizzando la tecnologia GenAI.

Questi modelli possono anche suggerire nuovi composti da testare, identificare candidati adatti per le prove e perfezionare le applicazioni di analisi delle immagini mediche con immagini sintetiche. Inoltre, l'intelligenza artificiale può essere utilizzata per generare piani di trattamento personalizzati o per trascrivere le consultazioni per il caricamento su cartelle cliniche elettroniche.

Come il panorama delle applicazioni di intelligenza artificiale generativa può beneficiare le aziende

Abbiamo visto alcune delle applicazioni reali, ma cosa significa l'intelligenza artificiale generativa per le aziende? Ecco alcuni dei principali vantaggi.

Flussi di entrate

Questa tecnologia consente alle aziende di creare e lanciare nuovi prodotti rapidamente, ideando nuovi design freschi e accelerando il processo di R&D. Può analizzare le tendenze e il comportamento dei clienti al fine di presentare nuove idee per flussi di entrate extra.

Oltre all'innovazione del prodotto, l'IA può aiutarti a produrre nuovi piani di marketing e a creare materiali promozionali. Analizzando le preferenze dei clienti, è possibile generare annunci mirati, personalizzare le raccomandazioni e personalizzare prodotti e servizi. L'analisi dei dati AI aiuta anche le aziende a individuare opportunità che le mantengono avanti rispetto ai loro rivali e mantengono un vantaggio competitivo. 

Infine, l'utilizzo di GenAI migliora le prestazioni del chatbot aziendale, aumentando la soddisfazione del cliente, le vendite e la ritenzione.

Produttività

Un altro grande vantaggio è la produttività, poiché GenAI può essere utilizzato per automatizzare compiti manuali che richiedono molto tempo, come l'inserimento di dati, le email di routine e le trascrizioni di riunioni o chiamate.

I modelli di IA sono ottimi nel riassumere informazioni complesse, rendendole più facili da capire e interpretare per gli esseri umani. Può anche analizzare i tuoi dati e suggerire modi per migliorare i flussi di lavoro esistenti per massimizzare l'efficienza.

Nel supporto al cliente, le aziende possono implementare chatbot e assistenti virtuali alimentati da IA per ridurre il carico di lavoro degli agenti di supporto. I vantaggi includono tempi di risposta e risoluzione più brevi, così come la possibilità per gli agenti di occuparsi di altri compiti mentre l'intelligenza artificiale si occupa delle richieste comuni.

Mitigazione del rischio

Le piattaforme di intelligenza artificiale generativa possono offrirti una visione più profonda dei tuoi dati e identificare rapidamente vulnerabilità finanziarie o di sicurezza. Programmi AI avanzati possono addirittura simulare potenziali rischi aziendali, permettendoti di valutare la conformità e implementare protocolli per evitare o mitigare i problemi.

Nel frattempo, la compressione dei dati significa che le organizzazioni devono conservare solo i dati essenziali, riducendo i rischi di detenere molte informazioni personali.

Quali sono le differenze tra i LLM più comuni?

Gli LLM formano un campo affollato, e il numero di opzioni tra cui scegliere continuerà solo ad aumentare. Tuttavia, è possibile raggruppare generalmente i LLM in due categorie: servizi proprietari e modelli open source. Diamo un'occhiata più da vicino.

Servizi proprietari

Il servizio LLM più noto è ChatGPT, che è stato rilasciato da OpenAI verso la fine del 2022. ChatGPT offre un'interfaccia di ricerca user-friendly che accetta prompt e fornisce tipicamente risposte rapide e pertinenti. L'API di ChatGPT è anche accessibile agli sviluppatori, permettendo loro di integrare l'LLM nelle loro applicazioni, prodotti o servizi. 

Altri esempi di servizi proprietari di IA generativa sono Google Bard e Claude di Anthropic.

Modelli open source

L'altro tipo di LLM è open source e disponibile per uso commerciale. La comunità open source ha rapidamente raggiunto le prestazioni dei modelli proprietari e i loro modelli, che possono essere auto-ospitati o forniti tramite API di servizi cloud, possono essere personalizzati tramite il fine-tuning.

I popolari LLM open source includono Llama 2 di Meta e MPT di MosaicML, che è stato acquisito da Databricks.

Scegliere il miglior LLM di intelligenza artificiale generativa

Comprendere le differenze tra LLM proprietari e open source è il primo passo, ma c'è ancora molto da considerare quando si seleziona un LLM per le applicazioni GenAI. La protezione futura, il costo e l'utilizzo dei dati come vantaggio competitivo dovrebbero tutti essere presi in considerazione quando si sceglie tra un API di un fornitore terzo chiuso o un LLM open source (o sintonizzato).

Sebbene i servizi proprietari LLM siano spesso molto potenti, possono anche sollevare preoccupazioni di governance a causa del loro stile "scatola nera", che permette meno supervisione dei loro processi di formazione e pesi. Un altro rischio è che i modelli proprietari possano essere deprecati o rimossi, il che interromperebbe qualsiasi pipeline esistente o indici vettoriali.

D'altra parte, i modelli open source sono accessibili all'acquirente a tempo indeterminato. Questi modelli offrono anche più personalizzazione e supervisione, che possono risultare in migliori compromessi tra prestazioni e costi. Infine, con il futuro fine-tuning dei modelli open source, le organizzazioni possono sfruttare i loro dati come un vantaggio competitivo per costruire modelli migliori di quelli disponibili pubblicamente.

Perché ci sono preoccupazioni riguardo l'etica dell'intelligenza artificiale generativa?

Qualsiasi forma di IA tende a sollevare preoccupazioni etiche, mentre gli esseri umani si confrontano con le implicazioni delle macchine intelligenti. Quindi, quali sono le questioni etiche dell'IA generativa? Per cominciare, questa tecnologia è relativamente nuova ed è anche in rapida evoluzione. Anche gli sviluppatori in questo campo non sono del tutto sicuri di dove finirà, ma man mano che i modelli imparano a produrre risposte più simili a quelle umane, diventa sempre più difficile rilevare imprecisioni. 

Un problema che è stato identificato nei modelli GenAI è le "allucinazioni". Questo è quando i chatbot inventano sostanzialmente cose. Questo può avere gravi conseguenze se un modello viene utilizzato per cose come consigli medici o report accurati.

Inoltre, se nei set di dati di addestramento sono contenuti pregiudizi inconsci o deliberati, come il razzismo o l'omofobia, possono diventare codificati nei modelli e influenzare l'output di un'intelligenza artificiale. 

Oltre alla disinformazione o al contenuto potenzialmente dannoso, c'è una preoccupazione comune riguardo ai "deepfake" - immagini o video digitalmente falsificati. I cyberattaccanti possono anche utilizzare l'intelligenza artificiale generativa per imitare lo stile di un mittente di fiducia e scrivere messaggi che chiedono password o denaro.

Inoltre, è spesso difficile risalire gli output dei modelli agli autori, il che crea problemi di diritto d'autore e di plagio. Questo è ulteriormente complicato dalla mancanza di informazioni su certi set di dati - ad esempio, con gli strumenti di generazione di immagini, gli utenti possono richiedere qualcosa "nello stile dell'artista X", quando "l'artista X" non ha mai acconsentito a che le sue immagini facessero parte di un set di dati.

Altre preoccupazioni riguardanti GenAI e l'etica includono la sostenibilità, poiché la tecnologia richiede un enorme potere computazionale ed elettricità, così come il modo in cui può dare credito a rivendicazioni che la segnalazione genuina è falsa incoraggiando la sfiducia delle parole e delle immagini online.

Come puoi testare la qualità dell'IA?

Come abbiamo menzionato nella sezione precedente, l'IA generativa può a volte produrre risultati inaccurati o di bassa qualità. Quando stai cercando strumenti e framework di intelligenza artificiale generativa, le metriche di performance saranno visualizzate nei materiali di vendita, ma è sempre meglio verificare di persona.

Gli sviluppatori e gli ingegneri dovrebbero testare i contenuti generati dall'IA per qualità e diversità per assicurarsi che il modello si comporti come è stato addestrato a fare. È relativamente semplice vedere se c'è un'affermazione "fattuale" errata - ma è più difficile valutare la qualità delle produzioni artistiche o creative, che sono soggettive.

Strumenti come l'API di valutazione MLflow di Databricks possono essere utilizzati per monitorare i parametri e i modelli GenAI per vedere se le produzioni sono sufficienti per le tue esigenze. Questo può anche essere combinato con la valutazione umana, ad esempio, utilizzando il tuo giudizio personale per valutare se un pezzo di musica o arte generato è attraente. Metriche di valutazione più oggettive includono il punteggio di inizio, la distanza di Fréchet Inception (FID) e la verità di base.

Verità di base

Questo metodo di valutazione comporta l'identificazione della verità di base su cui è stato addestrato l'intelligenza artificiale generativa. La verità di base è essenzialmente la risposta "corretta" a una query, basata su informazioni che si sa essere veritiere. Dovrebbe essere contenuto nei set di dati di addestramento che insegnano all'IA come arrivare a un output affidabile.

Ad esempio, se stessi addestrando un modello a riconoscere contenuti inaccurati, avresti bisogno di un grande set di dati di testo e immagini che sono stati classificati come veri o falsi. Gli sviluppatori possono misurare l'accuratezza delle risposte e delle previsioni prendendo questo dataset come standard.

Tuttavia, poiché i progettisti di intelligenza artificiale sono quelli che costruiscono la verità di base, sei dipendente dalla loro diligenza nel garantire che le informazioni siano corrette. Idealmente, la tua verità di base proviene direttamente dai tuoi utenti come feedback.

Il monitoraggio Databricks Lakehouse può aiutare i professionisti dell'intelligenza artificiale a garantire che i loro asset siano di alta qualità, accurati e affidabili. La segnalazione proattiva e gli strumenti unificati forniscono una visibilità completa dei dati e dei modelli per un semplice rilevamento delle anomalie, e le metriche del modello come giudice possono essere arricchite con le tue metriche di qualità personalizzate.

Metriche di qualità dell'intelligenza artificiale

Le metriche di qualità dell'IA sono misurazioni utilizzate per determinare le prestazioni di un modello di IA generativo. Oltre alle tradizionali metriche di ML come precisione e richiamo, metriche personalizzate specifiche per GenAI consentono una valutazione importante di questi modelli.  

Ad esempio, la metrica Fréchet Inception Distance (FID) valuta la qualità delle immagini create dall'intelligenza artificiale generativa. Confrontando la distribuzione delle immagini generate con quella delle immagini reali utilizzate per formare lo strumento, si può calcolare la distanza tra la distribuzione delle attivazioni per alcuni strati profondi in un classificatore. Un punteggio di 0.0 è il miglior risultato per il FID.

Databricks ha dimostrato il valore dell'utilizzo di LLM come giudice della qualità dei chatbot. Queste tecniche all'avanguardia hanno portato alla nuova funzionalità MLflow model-as-a-judge, che può confrontare l'output di testo di diversi modelli di IA per valutare la tossicità e la perplessità.

Attuali sfide dell'IA generativa

Sebbene la tecnologia si stia sviluppando rapidamente, ci sono ancora alcune sfide considerevoli nell'utilizzo dei modelli di intelligenza artificiale generativa.

Scalabilità dell'infrastruttura

Una delle principali sfide nel dispiegare con successo GenAI è la scalabilità. Come abbiamo appreso, questi modelli necessitano di una grande quantità di dati di alta qualità e non prevenuti per generare gli output desiderati.

Per lo sviluppo e la manutenzione dei modelli di IA generativa, è necessaria un'infrastruttura informatica su larga scala e potenza, che a sua volta richiede una spesa di capitale significativa e competenza tecnica. Questo ha portato a una crescente domanda di soluzioni scalabili.

Complessità dell'ottimizzazione

I praticanti di machine learning possono anche affrontare una serie di sfide di basso livello che derivano dalla necessità di ottimizzare i modelli di IA generativa. Esempi di queste complessità possono includere il collasso del modello e i gradienti che scompaiono. 

Il collasso del modo è un tipo di fallimento che si verifica nei modelli GAN quando il generatore impara a ripetere un output credibile che il discriminatore ha accettato invece di produrre output più vari. Se il discriminatore non impara a rifiutare output simili e ripetuti, ogni successiva iterazione del generatore ruoterà attraverso un piccolo set di tipi di output.

I gradienti che svaniscono possono verificarsi quando vengono aggiunti strati aggiuntivi con certe funzioni di attivazione alle reti neurali e causano il gradiente della funzione di perdita a diventare troppo piccolo. Un gradiente troppo piccolo impedisce ai pesi e ai bias dei livelli iniziali di aggiornarsi correttamente, causando il fallimento del riconoscimento di elementi chiave dei dati di input e rendendo la rete imprecisa.

La soluzione di Fine-Tuning di Databricks fornisce agli scienziati dei dati gli strumenti per aiutare a contrastare queste sfide. Un'interfaccia semplificata per gli utenti nasconde le tecniche per evitare le suddette sfide di ottimizzazione sotto il cofano, gestite automaticamente per l'utente.

Dati disgiunti, strumenti ML e AI

Strumenti separati e scarsamente integrati per i dati, l'apprendimento automatico classico e l'IA generativa possono anche creare sfide per gli scienziati dei dati. 

I dati di alta qualità sono essenziali per l'addestramento sia dei modelli di machine learning che dei modelli GenAI, e gli output dei modelli ML e GenAI devono essere reinseriti nei flussi di dati. C'è la necessità di affrontare la governance, la qualità e l'implementazione in modo olistico attraverso i dati e ML/AI, e le piattaforme separate possono risultare in attrito, inefficienza e costi aggiuntivi per le organizzazioni. 

La piattaforma di intelligenza dei dati Databricks supporta carichi di lavoro di dati di base, ML classico e IA generativa, e comprende l'utilizzo dei dati in tutto. Combinando la struttura aperta e unificata del lakehouse con l'IA generativa, la nostra piattaforma di intelligenza dei dati ottimizza le prestazioni, semplifica l'esperienza dell'utente e fornisce una governance forte e sicura e la privacy.

Come sarà il futuro dell'intelligenza artificiale generativa?

Secondo Gartner, l'IA generativa avrà un impatto simile a quello della macchina a vapore, dell'elettricità e di internet, diventando infine una "tecnologia di uso generale". Questo perché ci sono così tante potenziali applicazioni per la tecnologia.

Ad esempio, le attività che rappresentano fino al 30% delle ore attualmente lavorate nell'economia degli Stati Uniti potrebbero essere automatizzate entro il 2030. Vedremo anche un aumento dei fornitori di software che integrano le capacità di AI nei loro strumenti.

Comprensibilmente, gli esseri umani sono preoccupati di perdere il loro lavoro a favore delle macchine, ma il futuro dell'IA potrebbe anche vedere la creazione di molti nuovi lavori. Ad esempio, gli esseri umani avranno ancora bisogno di sviluppare e addestrare i sistemi GenAI, compresa la scelta del modello più adatto per un dato compito e la raccolta di dati di addestramento per valutare gli output.

La rapida adozione di tecnologie come ChatGPT evidenzia le sfide dell'uso responsabile della GenAI. Paesi e stati stanno già scoprendo che hanno bisogno di nuovi protocolli legali e di sicurezza per gestire problemi legati al diritto d'autore e alle minacce alla sicurezza informatica, e queste tecnologie saranno probabilmente ulteriormente regolamentate in futuro.

Nel frattempo, la Piattaforma di Intelligenza dei Dati Databricks ha l'IA generativa integrata - rendendo più facile mantenere la sicurezza dei dati e la governance, così come monitorare la qualità dei dati e monitorare e ottimizzare i tuoi modelli.

Man mano che le architetture e gli algoritmi di formazione diventano più avanzati, i modelli di IA generativa diventeranno più potenti. Le organizzazioni devono ricordare che con il potere viene la responsabilità, e devono trovare l'equilibrio tra automazione e coinvolgimento umano.

Dove posso trovare più informazioni sull'AI generativa?

Ci sono molte risorse disponibili per trovare ulteriori informazioni sull'intelligenza artificiale generativa, tra cui queste:

Formazione

• Fondamenti dell'IA Generativa: Segui questo corso gratuito offerto da Databricks e impara le basi dell'IA generativa.
• LLMs: Scopri i Modelli Fondamentali Partendo da Zero (edX e Formazione Databricks). Questa formazione gratuita offerta da Databricks approfondisce i dettagli dei modelli fondamentali negli LLMs.
• LLMs: Migliora le tue competenze con il corso Application Through Production (edX e Databricks Training). Questo corso gratuito offerto da Databricks si concentra su come costruire applicazioni focalizzate su LLM con i framework più recenti e noti.

Siti

• Pagina di AI e Machine Learning di Databricks pagina

eBook

• La Grande Accelerazione: Perspettive dei CIO sulla AI Generativa: Leggi questo rapporto della MIT Technology Review che contiene intuizioni da oltre 600 CIO sulla AI generativa
• Ridefinisci ciò che è possibile con l'IA generativa: Inizia con 52 casi d'uso 
• The Big Book of MLOps

Blog tecnici

• Creare applicazioni RAG di alta qualità con Databricks
• Migliori pratiche per la valutazione LLM delle applicazioni di Retrieval Augmented Generation (RAG)
• Utilizzo di MLflow AI Gateway e Llama 2 per costruire applicazioni di intelligenza artificiale generativa (Ottenere una maggiore precisione utilizzando RAG con i tuoi dati)
• Implementa il tuo Chatbot LLM con Retrieval Augmented Generation (RAG), Foundation Models e Vector Search
• LLMOps: Everything You Need to Know to Manage LLMs

Puoi anche contattare Databricks per programmare una demo e parlare con qualcuno dei tuoi progetti LLM o leggere di più sulle offerte di Databricks per LLMs.