Cosa sono i Large Language Models? Dietro le Quinte dell’Intelligenza Artificiale

Marcello Politi : 14 Agosto 2023 08:44

Nel mondo in rapida evoluzione dell’intelligenza artificiale (IA), un termine è emerso con un’importanza crescente: Modello linguistico o Language Model, in particolare modelli linguistici di grandi dimensioni quindi chiamati Large Language Models.

Probabilmente avrete già usato tool come chatGPT, cioè modelli di Deep Learning che generano testo coerente e simile a quello umano, in tal caso avete già sperimentato le capacità dei Large Language Models. In questo articolo approfondiremo cosa sono i modelli linguistici, come funzionano ed esploreremo alcuni esempi importanti nella letteratura scientifica.

Modelli Linguistici

In sintesi, un modello linguistico è un software in grado di prevedere la probabilità di una sequenza di parole. I modelli linguistici vengono addestrati su vasti archivi di dati testuali (corpus) affinchè possano apprendere pattern linguistici.

Immaginate di leggere una frase: “Il gatto è sul __“.

La maggior parte degli esseri umani, in base alla loro comprensione dell’italiano, penserebbe che la parola successiva potrebbe essere “tavolo”, “pavimento”, “divano” o qualcosa di simile. Questa previsione si basa sulle nostre conoscenze ed esperienze precedenti con la lingua. Un modello linguistico mira a fare qualcosa di simile, ma su una scala molto più ampia e con una vasta quantità di testo.

I modelli linguistici assegnano probabilità alle sequenze di parole. Un modello ben addestrato assegnerebbe una probabilità maggiore alla sequenza “Il gatto è sul divano” rispetto a “Il gatto è sul cielo”, poiché quest’ultima è meno comune in un tipico testo italiano.

Evoluzione dei Modelli Linguistici

I modelli linguistici esistono da anni, ma le loro capacità sono state notevolmente migliorate con l’avvento del Deep Learning e delle reti neurali. Questi modelli sono cresciuti in dimensioni, catturando più sfumature e complessità del linguaggio umano. Vediamo alcuni esempi tra i più famosi di modelli che sono stati utilizzati per processare il lunguaggio naturale.

• Modelli n-gram: Basati su statistica tradizionale in cui N si riferisce a un parametro numerico che viene scelto dal data scientist . Un modello n-gram predice la parola successiva sulla base delle n-1 parole precedenti. Genera quindi le probabilità contando la frequenza delle sequenze di parole che ha incontrato nei dati testuali di training.
• Reti neurali ricorrenti (RNN): Introdotte per superare le limitazioni dei modelli a n-gram, le RNN possono teoricamente considerare tutte le parole precedenti in un testo. Tuttavia, nella pratica, hanno difficoltà a gestire le dipendenze a lungo termine, cioè a capire se una parola come un aggettivo fà riferimento ad un altra parola che sta parecchio lontana nel testo.
• Transformers: Questa architettura ha rivoluzionato il mondo del processamento del linguaggio naturale (NLP) del Deep Learning in generale. Modelli come BERT (Bidirectional Encoder Representations from Transformers) e GPT (Generative Pre-trained Transformer) rientrano in questa categoria. Sono in grado di comprendere il contesto del testo e a capire come le parole queste dipendano l’una dall’altra. Inoltre sono modelli molto più veloci da addestrare rispetto alle RNN poichè il training può essere lanciato in modo parallelo. Andando più nel dettaglio, un modello Transformer è formato da due parti, un encoder (a sinistra) , che genera una rappresentazione matematica del linguaggio, e un decoder (a destra), che genera nuove parole dato un input, come fà appunto chatGPT. BERT è un modello sviluppato utilizzando solo la parte encoder del transformer, ottimo quindi per creare rappresentazioni vettoriali, mentre GPT è basato sulla parte decoder specializzato nella generazione del testo.

Modelli Titanici

Quando diciamo “grandi” in “modelli linguistici di grandi dimensioni”, ci riferiamo all’enorme numero di parametri che questi modelli hanno, spesso dell’ordine di miliardi. Infatti ad oggi sembra che le performance dei modelli crescano all’aumentera del numero dei parametri, per questo i modelli che vengono commercializzati sono sempre più grandi.

Ovviamente bisogna sempre tenere a mente che modelli di tali dimension hanno un costo economico proibitivo per la maggiorparte dei business, le stime per l’addestramento di tali modelli si aggira sui milioni di euro. Di solito chi non ha queste possibilità economiche si limita a fare un fine-tuning di modelli già addestrati, cioè di continuare l’addestramento di un modello come BERT ma sui propri dati in modo che il modello diventi ancora più bravo su un determinato settore.

Ovviamente questi training hanno degli impatti anche ambientali non indifferenti, per questo si sta facendo anche molta ricerca su come ottimizzare e ridurre la dimensione dei modelli mantenendo comuqnue la loro efficacia. Citiamo alcuni degli ultimi Large Language Models di grandi dimensioni:

• BERT di Google: Con 340 milioni di parametri, è stato progettato per comprendere il contesto delle parole nelle query di ricerca, BERT è in grado di considerare l’intero contesto di una parola osservando le parole che la precedono e la seguono.
• Turing-NLG di Microsoft: Con 17 miliardi di parametri, questo modello è progettato per varie attività di elaborazione del linguaggio naturale, tra cui la risposta a domande e la traduzione linguistica.
• GPT-3 di OpenAI: con 175 miliardi di parametri, GPT-3 è uno dei modelli linguistici più avanzati. Può generare paragrafi di testo coerenti, rispondere a domande, scrivere poesie e persino generare codice informatico.

I Large Language Models stanno superando ogni aspettativa nel campo dell’elaborazione del linguaggio naturale. Con la loro continua crescita ed evoluzione, le loro potenziali applicazioni in settori come la sanità, la finanza, l’istruzione e l’intrattenimento sono illimitate.

Che si tratti di assistere gli scrittori nella creazione di contenuti, di alimentare chatbot avanzati o di aiutare i ricercatori nella revisione della letteratura, questi modelli hanno aperto la strada a un futuro in cui gli esseri umani e le macchine comunicano senza soluzione di continuità.