Red Hot Cyber
La cybersecurity è condivisione. Riconosci il rischio, combattilo, condividi le tue esperienze ed incentiva gli altri a fare meglio di te.
Cerca

Capacità Emergenti nei Large Language Models

Marcello Politi : 26 Agosto 2023 22:22

Sia il mondo naturale che il campo dell’intelligenza artificiale presentano numerosi casi di capacità emergenti. Quando i singoli componenti interagiscono all’interno di un sistema, producono comportamenti e modelli che non sono stati progettati esplicitamente.

Capacità Emergenti In Natura

Esistono molte fenomeni emergenti in natura, vediamo alcuni esempi:

Intelligenza collettiva delle formiche: le formiche, possiedono capacità cognitive relativamente semplici e informazioni limitate. Tuttavia, quando si riuniscono e interagiscono all’interno di una colonia, mostrano comportamenti cooperativi complessi e altamente efficienti che portano all’emergere di un’intelligenza sofisticata, senza alcun controllo centrale o istruzioni esplicite.

Iscriviti GRATIS alla RHC Conference 2025 (Venerdì 9 maggio 2025)

Il giorno Venerdì 9 maggio 2025 presso il teatro Italia di Roma (a due passi dalla stazione termini e dalla metro B di Piazza Bologna), si terrà la RHC Conference 2025. Si tratta dell’appuntamento annuale gratuito, creato dalla community di RHC, per far accrescere l’interesse verso le tecnologie digitali, l’innovazione digitale e la consapevolezza del rischio informatico.

La giornata inizierà alle 9:30 (con accoglienza dalle 9:00) e sarà interamente dedicata alla RHC Conference, un evento di spicco nel campo della sicurezza informatica. Il programma prevede un panel con ospiti istituzionali che si terrà all’inizio della conferenza. Successivamente, numerosi interventi di esperti nazionali nel campo della sicurezza informatica si susseguiranno sul palco fino alle ore 19:00 circa, quando termineranno le sessioni. Prima del termine della conferenza, ci sarà la premiazione dei vincitori della Capture The Flag prevista per le ore 18:00.
Potete iscrivervi gratuitamente all'evento utilizzando questo link.

Per ulteriori informazioni, scrivi a [email protected] oppure su Whatsapp al 379 163 8765


Supporta RHC attraverso:


Ti piacciono gli articoli di Red Hot Cyber? Non aspettare oltre, iscriviti alla newsletter settimanale per non perdere nessun articolo.

Coscienza: Un neurone, l’unità fondamentale del cervello, ha principi operativi relativamente semplici. Riceve segnali, li elabora e li invia. Tuttavia, quando miliardi di neuroni si interconnettono, formando reti vaste e intricate, il comportamento collettivo porta a fenomeni come il pensiero, la memoria, le emozioni e, forse, la coscienza.

Manifestazione dello spazio-tempo: alcune teorie contemporanee della fisica, sostengono che lo spazio-tempo potrebbe non essere un concetto fondamentale, ma piuttosto un fenomeno emergente derivante dall’intricata rete dell’entanglement quantistico.

Foundation Models

Nello stesso modo le Neural Networks formate da milioni di neuroni artificiali connessi tra loro con capacità limitate, hanno iniziato a presentare capacità emergenti, riuscendo a risolvere task per i quali non sono mai state addestrate.

Una delle architetture di reti neurali rivoluzionarie nel mondo dell’AI è chiamata Transformer, presentata per la prima volta nel paper “Attention is All You Need“.

In questo paper gli autori hanno utilizzato il transformer per risolvere il task di Machine Translation, tradurre quindi frase da una lingua in un altra. In questo caso si passano al modello di AI, coppie di frasi inglese-italiano ad esempio, e si inizia l’addestramento. Chiaramente una volta addestrato, il modello sarà bravissimo a tradurre frassi dall’inglese all’italiano.

Recentemente, in modelli come chatGPT, si è utilizzato un approccio differente. Invece di addestrare il modello su un task specifico come quello della traduzione, lo si allena su tutto il testo che è possibile trovare su internet. Vengono collezionate milioni e milioni di frasi, alle quali vengono oscurate delle parole, e viene chiesto al modello di indovinare quale parola è stata nascosta.

Ad esempio, nella frase “Mi piace molto giocare a ____”, l’AI deve capire qual’è la parola nascosta, ad esempio “calcio”. I modelli addestrati in questo modo vengono chiamati Foundation Models.

La magia avviene adesso, i Foundation Models addestrati in questo modo, riescono a risolvere task di vario tipo su cui non sono mai stati addestrati, come la Machine Translation, a patto che gli si faccia la domanda giusta.

Potrei chiedere al modello “Puoi tradurmi la frase ‘I like football’ in Italiano?“, e questo fornirà in output la traduzione. Queste capacità hanno aperto un mondo, perchè adesso possiamo addestrare i modelli per la risoluzione di particolari task su tutti i dati che si possono trovare su internet, senza dover creare dataset custom che molte volte sono costosi da annotare.

Inoltre questo modelli hanno fatto nascere una nuovo campo di studio, quello del Prompt Engineering.

A seconda di come vengono poste le query (o domande) al modello, riceveremo risposte più o meno accurate, e quindi è fondamentale capire come porre le query nel modo migliore.

Conclusioni

La comprensione delle capacità emergenti, sia in natura che nell’intelligenza artificiale, ci invita a riflettere sulla meraviglia dell’interconnessione. I sistemi, siano essi colonie di formiche, reti neurali complesse o la stessa coscienza umana, sono più grandi della somma delle loro parti. Questi fenomeni, quando visti attraverso la lente dell’emergenza, rivelano la potenza delle interazioni, piuttosto che delle singole entità.

La natura ci ha dimostrato come l’organizzazione e la collaborazione di entità semplici possono dar vita a comportamenti e capacità complessi e sofisticati. Similmente, il progresso nell’ambito dell’IA, in particolare con i Foundation Models, sottolinea come l’addestramento su vasti set di dati possa sprigionare capacità inaspettate e rivoluzionarie nei modelli.

Marcello Politi
Esperto di intelligenza artificiale con una grande passione per l'esplorazione spaziale. Ho avuto la fortuna di lavorare presso l'Agenzia Spaziale Europea, contribuendo a progetti di ottimizzazione del flusso di dati e di architettura del software. Attualmente, sono AI Scientist & Coach presso la PiSchool, dove mi dedico alla prototipazione rapida di prodotti basati sull'intelligenza artificiale. Mi piace scrivere articoli riguardo la data science e recentemente sono stato riconosciuto come uno dei blogger più prolifici su Towards Data Science.

Lista degli articoli

Articoli in evidenza

Sicurezza è Lavoro: dal cantiere al cloud, dobbiamo proteggere chi costruisce l’Italia!

1° Maggio, un giorno per onorare chi lavora, chi lotta per farlo in modo dignitoso e chi, troppo spesso, perde la vita mentre svolge la propria mansione. Nel 2025, l’Italia continua a pian...

Buon World Password Day! Tra MIT, Hacker, Infostealer e MFA. Perchè sono così vulnerabili

Domani celebreremo uno degli elementi più iconici – e al tempo stesso vulnerabili – della nostra vita digitale: la password. Da semplice chiave d’accesso inventata negli anni...

Benvenuti su Mist Market: dove con un click compri droga, identità e banconote false

Ci sono luoghi nel web dove la normalità cede il passo all’illecito, dove l’apparenza di un marketplace moderno e funzionale si trasforma in una vetrina globale per ogni tipo di rea...

La Cina Accusa la NSA di aver usato Backdoor Native su Windows per hackerare i Giochi Asiatici

Le backdoor come sappiamo sono ovunque e qualora presenti possono essere utilizzate sia da chi le ha richieste ma anche a vantaggio di chi le ha scoperte e questo potrebbe essere un caso emblematico s...

WindTre comunica un DataBreach che ha coinvolto i sistemi dei rivenditori

Il 25 febbraio 2025 WindTre ha rilevato un accesso non autorizzato ai sistemi informatici utilizzati dai propri rivenditori. L’intrusione, riconosciuta come un’azione malevola, è st...