Red Hot Cyber
La cybersecurity è condivisione. Riconosci il rischio, combattilo, condividi le tue esperienze ed incentiva gli altri a fare meglio di te.
Cerca

Capacità Emergenti nei Large Language Models

Marcello Politi : 26 Agosto 2023 22:22

Sia il mondo naturale che il campo dell’intelligenza artificiale presentano numerosi casi di capacità emergenti. Quando i singoli componenti interagiscono all’interno di un sistema, producono comportamenti e modelli che non sono stati progettati esplicitamente.

Capacità Emergenti In Natura

Esistono molte fenomeni emergenti in natura, vediamo alcuni esempi:

Intelligenza collettiva delle formiche: le formiche, possiedono capacità cognitive relativamente semplici e informazioni limitate. Tuttavia, quando si riuniscono e interagiscono all’interno di una colonia, mostrano comportamenti cooperativi complessi e altamente efficienti che portano all’emergere di un’intelligenza sofisticata, senza alcun controllo centrale o istruzioni esplicite.

Vuoi diventare un esperto del Dark Web e della Cyber Threat Intelligence (CTI)?
Stiamo per avviare il corso intermedio in modalità "Live Class", previsto per febbraio.
A differenza dei corsi in e-learning, disponibili online sulla nostra piattaforma con lezioni pre-registrate, i corsi in Live Class offrono un’esperienza formativa interattiva e coinvolgente.
Condotti dal professor Pietro Melillo, le lezioni si svolgono online in tempo reale, permettendo ai partecipanti di interagire direttamente con il docente e approfondire i contenuti in modo personalizzato. Questi corsi, ideali per aziende, consentono di sviluppare competenze mirate, affrontare casi pratici e personalizzare il percorso formativo in base alle esigenze specifiche del team, garantendo un apprendimento efficace e immediatamente applicabile.
Per ulteriori informazioni, scrivici ad [email protected] oppure scrivici su Whatsapp al 379 163 8765 

Supporta RHC attraverso:


Ti piacciono gli articoli di Red Hot Cyber? Non aspettare oltre, iscriviti alla newsletter settimanale per non perdere nessun articolo.

Coscienza: Un neurone, l’unità fondamentale del cervello, ha principi operativi relativamente semplici. Riceve segnali, li elabora e li invia. Tuttavia, quando miliardi di neuroni si interconnettono, formando reti vaste e intricate, il comportamento collettivo porta a fenomeni come il pensiero, la memoria, le emozioni e, forse, la coscienza.

Manifestazione dello spazio-tempo: alcune teorie contemporanee della fisica, sostengono che lo spazio-tempo potrebbe non essere un concetto fondamentale, ma piuttosto un fenomeno emergente derivante dall’intricata rete dell’entanglement quantistico.

Foundation Models

Nello stesso modo le Neural Networks formate da milioni di neuroni artificiali connessi tra loro con capacità limitate, hanno iniziato a presentare capacità emergenti, riuscendo a risolvere task per i quali non sono mai state addestrate.

Una delle architetture di reti neurali rivoluzionarie nel mondo dell’AI è chiamata Transformer, presentata per la prima volta nel paper “Attention is All You Need“.

In questo paper gli autori hanno utilizzato il transformer per risolvere il task di Machine Translation, tradurre quindi frase da una lingua in un altra. In questo caso si passano al modello di AI, coppie di frasi inglese-italiano ad esempio, e si inizia l’addestramento. Chiaramente una volta addestrato, il modello sarà bravissimo a tradurre frassi dall’inglese all’italiano.

Recentemente, in modelli come chatGPT, si è utilizzato un approccio differente. Invece di addestrare il modello su un task specifico come quello della traduzione, lo si allena su tutto il testo che è possibile trovare su internet. Vengono collezionate milioni e milioni di frasi, alle quali vengono oscurate delle parole, e viene chiesto al modello di indovinare quale parola è stata nascosta.

Ad esempio, nella frase “Mi piace molto giocare a ____”, l’AI deve capire qual’è la parola nascosta, ad esempio “calcio”. I modelli addestrati in questo modo vengono chiamati Foundation Models.

La magia avviene adesso, i Foundation Models addestrati in questo modo, riescono a risolvere task di vario tipo su cui non sono mai stati addestrati, come la Machine Translation, a patto che gli si faccia la domanda giusta.

Potrei chiedere al modello “Puoi tradurmi la frase ‘I like football’ in Italiano?“, e questo fornirà in output la traduzione. Queste capacità hanno aperto un mondo, perchè adesso possiamo addestrare i modelli per la risoluzione di particolari task su tutti i dati che si possono trovare su internet, senza dover creare dataset custom che molte volte sono costosi da annotare.

Inoltre questo modelli hanno fatto nascere una nuovo campo di studio, quello del Prompt Engineering.

A seconda di come vengono poste le query (o domande) al modello, riceveremo risposte più o meno accurate, e quindi è fondamentale capire come porre le query nel modo migliore.

Conclusioni

La comprensione delle capacità emergenti, sia in natura che nell’intelligenza artificiale, ci invita a riflettere sulla meraviglia dell’interconnessione. I sistemi, siano essi colonie di formiche, reti neurali complesse o la stessa coscienza umana, sono più grandi della somma delle loro parti. Questi fenomeni, quando visti attraverso la lente dell’emergenza, rivelano la potenza delle interazioni, piuttosto che delle singole entità.

La natura ci ha dimostrato come l’organizzazione e la collaborazione di entità semplici possono dar vita a comportamenti e capacità complessi e sofisticati. Similmente, il progresso nell’ambito dell’IA, in particolare con i Foundation Models, sottolinea come l’addestramento su vasti set di dati possa sprigionare capacità inaspettate e rivoluzionarie nei modelli.

Marcello Politi
Esperto di intelligenza artificiale con una grande passione per l'esplorazione spaziale. Ho avuto la fortuna di lavorare presso l'Agenzia Spaziale Europea, contribuendo a progetti di ottimizzazione del flusso di dati e di architettura del software. Attualmente, sono AI Scientist & Coach presso la PiSchool, dove mi dedico alla prototipazione rapida di prodotti basati sull'intelligenza artificiale. Mi piace scrivere articoli riguardo la data science e recentemente sono stato riconosciuto come uno dei blogger più prolifici su Towards Data Science.

Lista degli articoli

Articoli in evidenza

Lumma Stealer: inizio del takedown o solo una mossa tattica?

Nelle ultime ore si è assistito a un grande clamore mediatico riguardante il “takedown” dell’infrastruttura del noto malware-as-a-service Lumma Stealer, con un’operazi...

Skitnet: Il Malware che Sta Conquistando il Mondo del Ransomware

Gli esperti hanno lanciato l’allarme: i gruppi ransomware stanno utilizzando sempre più spesso il nuovo malware Skitnet (noto anche come Bossnet) per lo sfruttamento successivo delle ...

Bypass di Microsoft Defender mediante Defendnot: Analisi Tecnica e Strategie di Mitigazione

Nel panorama delle minacce odierne, Defendnot rappresenta un sofisticato malware in grado di disattivare Microsoft Defender sfruttando esclusivamente meccanismi legittimi di Windows. A differenza di a...

Falso Mito: Se uso una VPN, sono completamente al sicuro anche su reti WiFi Aperte e non sicure

Molti credono che l’utilizzo di una VPN garantisca una protezione totale durante la navigazione, anche su reti WiFi totalmente aperte e non sicure. Sebbene le VPN siano strumenti efficaci per c...

In Cina il CNVD premia i migliori ricercatori di sicurezza e la collaborazione tra istituzioni e aziende

Durante una conferenza nazionale dedicata alla sicurezza informatica, sono stati ufficialmente premiati enti, aziende e professionisti che nel 2024 hanno dato un contributo significativo al National I...