Capacità Emergenti nei Large Language Models

Marcello Politi : 26 Agosto 2023 22:22

Sia il mondo naturale che il campo dell’intelligenza artificiale presentano numerosi casi di capacità emergenti. Quando i singoli componenti interagiscono all’interno di un sistema, producono comportamenti e modelli che non sono stati progettati esplicitamente.

Capacità Emergenti In Natura

Esistono molte fenomeni emergenti in natura, vediamo alcuni esempi:

Intelligenza collettiva delle formiche: le formiche, possiedono capacità cognitive relativamente semplici e informazioni limitate. Tuttavia, quando si riuniscono e interagiscono all’interno di una colonia, mostrano comportamenti cooperativi complessi e altamente efficienti che portano all’emergere di un’intelligenza sofisticata, senza alcun controllo centrale o istruzioni esplicite.

Prova la Demo di Business Log! Adaptive SOC italiano Log management non solo per la grande Azienda, ma una suite di Audit file, controllo USB, asset, sicurezza e un Security Operation Center PERSONALE, che ti riporta tutte le operazioni necessarie al tuo PC per tutelare i tuoi dati e informati in caso di problemi nel tuo ambiente privato o di lavoro. Scarica ora la Demo di Business Log per 30gg Supporta Red Hot Cyber attraverso:  L'acquisto del fumetto sul Cybersecurity Awareness Ascoltando i nostri Podcast Seguendo RHC su WhatsApp Seguendo RHC su Telegram Scarica gratuitamente “Byte The Silence”, il fumetto sul Cyberbullismo di Red Hot Cyber Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì.

Coscienza: Un neurone, l’unità fondamentale del cervello, ha principi operativi relativamente semplici. Riceve segnali, li elabora e li invia. Tuttavia, quando miliardi di neuroni si interconnettono, formando reti vaste e intricate, il comportamento collettivo porta a fenomeni come il pensiero, la memoria, le emozioni e, forse, la coscienza.

Manifestazione dello spazio-tempo: alcune teorie contemporanee della fisica, sostengono che lo spazio-tempo potrebbe non essere un concetto fondamentale, ma piuttosto un fenomeno emergente derivante dall’intricata rete dell’entanglement quantistico.

Foundation Models

Nello stesso modo le Neural Networks formate da milioni di neuroni artificiali connessi tra loro con capacità limitate, hanno iniziato a presentare capacità emergenti, riuscendo a risolvere task per i quali non sono mai state addestrate.

Una delle architetture di reti neurali rivoluzionarie nel mondo dell’AI è chiamata Transformer, presentata per la prima volta nel paper “Attention is All You Need“.

In questo paper gli autori hanno utilizzato il transformer per risolvere il task di Machine Translation, tradurre quindi frase da una lingua in un altra. In questo caso si passano al modello di AI, coppie di frasi inglese-italiano ad esempio, e si inizia l’addestramento. Chiaramente una volta addestrato, il modello sarà bravissimo a tradurre frassi dall’inglese all’italiano.

Recentemente, in modelli come chatGPT, si è utilizzato un approccio differente. Invece di addestrare il modello su un task specifico come quello della traduzione, lo si allena su tutto il testo che è possibile trovare su internet. Vengono collezionate milioni e milioni di frasi, alle quali vengono oscurate delle parole, e viene chiesto al modello di indovinare quale parola è stata nascosta.

Ad esempio, nella frase “Mi piace molto giocare a ____”, l’AI deve capire qual’è la parola nascosta, ad esempio “calcio”. I modelli addestrati in questo modo vengono chiamati Foundation Models.

La magia avviene adesso, i Foundation Models addestrati in questo modo, riescono a risolvere task di vario tipo su cui non sono mai stati addestrati, come la Machine Translation, a patto che gli si faccia la domanda giusta.

Potrei chiedere al modello “Puoi tradurmi la frase ‘I like football’ in Italiano?“, e questo fornirà in output la traduzione. Queste capacità hanno aperto un mondo, perchè adesso possiamo addestrare i modelli per la risoluzione di particolari task su tutti i dati che si possono trovare su internet, senza dover creare dataset custom che molte volte sono costosi da annotare.

Inoltre questo modelli hanno fatto nascere una nuovo campo di studio, quello del Prompt Engineering.

A seconda di come vengono poste le query (o domande) al modello, riceveremo risposte più o meno accurate, e quindi è fondamentale capire come porre le query nel modo migliore.

Conclusioni

La comprensione delle capacità emergenti, sia in natura che nell’intelligenza artificiale, ci invita a riflettere sulla meraviglia dell’interconnessione. I sistemi, siano essi colonie di formiche, reti neurali complesse o la stessa coscienza umana, sono più grandi della somma delle loro parti. Questi fenomeni, quando visti attraverso la lente dell’emergenza, rivelano la potenza delle interazioni, piuttosto che delle singole entità.

La natura ci ha dimostrato come l’organizzazione e la collaborazione di entità semplici possono dar vita a comportamenti e capacità complessi e sofisticati. Similmente, il progresso nell’ambito dell’IA, in particolare con i Foundation Models, sottolinea come l’addestramento su vasti set di dati possa sprigionare capacità inaspettate e rivoluzionarie nei modelli.

Marcello Politi
Esperto di intelligenza artificiale con una grande passione per l'esplorazione spaziale. Ho avuto la fortuna di lavorare presso l'Agenzia Spaziale Europea, contribuendo a progetti di ottimizzazione del flusso di dati e di architettura del software. Attualmente, sono AI Scientist & Coach presso la PiSchool, dove mi dedico alla prototipazione rapida di prodotti basati sull'intelligenza artificiale. Mi piace scrivere articoli riguardo la data science e recentemente sono stato riconosciuto come uno dei blogger più prolifici su Towards Data Science.

Lista degli articoli