Salvatore Ricciardi : 7 Febbraio 2025 07:23
“Non ci vuole un pennello grande ma un grande pennello!”, chi non si ricorda questa pubblicità storica?
Negli ultimi anni, i modelli linguistici di grandi dimensioni (LLM) come GPT hanno rivoluzionato il modo in cui interagiamo con l’intelligenza artificiale. Tuttavia, la loro enorme complessità e il consumo di risorse computazionali rappresentano un collo di bottiglia significativo per il loro utilizzo.
Per affrontare questo problema, i ricercatori hanno adattato una tecnica applicata precedentemente nelle reti neurali profonde, non limitata al caso degli LLM, chiamata distillazione del modello.
Prompt Engineering & Sicurezza: diventa l’esperto che guida l’AIVuoi dominare l’AI generativa e usarla in modo sicuro e professionale? Con il Corso Prompt Engineering: dalle basi alla cybersecurity, guidato da Luca Vinciguerra, data scientist ed esperto di sicurezza informatica, impari a creare prompt efficaci, ottimizzare i modelli linguistici e difenderti dai rischi legati all’intelligenza artificiale. Un percorso pratico e subito spendibile per distinguerti nel mondo del lavoro. Non restare indietro: investi oggi nelle tue competenze e porta il tuo profilo professionale a un nuovo livello. Guarda subito l'anteprima gratuita del corso su academy.redhotcyber.com Contattaci per ulteriori informazioni tramite WhatsApp al 375 593 1011 oppure scrivi a [email protected] ![]() Supporta RHC attraverso:
Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì. |
Tale tecnica permette di utilizzare modelli di dimensioni più ridotte a partire da modelli più grandi, preservandone le capacità, le performance ed ottimizzandone l’aspetto computazionale.
La distillazione del modello (o knowledge distillation) è un processo di compressione in cui un modello più grande e complesso (insegnante) trasferisce la sua conoscenza a un modello più piccolo e leggero (studente).
Questo permette di ottenere un modello che consuma meno risorse, mantenendo un buon livello di accuratezza. La prima forma di distillazione si ha in un articolo del 2006 intitolato Model Compression. Nel paper, impiegarono come modello di classificazione un insieme (ensemble) di un centinaio di classificatori di base, per etichettare un ampio set di dati.
Successivamente, addestrarono una singola rete neurale su questo dataset etichettato. Il risultato fu un modello compatto, più piccolo e più veloce, ma con le stesse prestazioni dell’ensemble originale. Questo approccio fu poi rivisto e reso più computazionalmente efficiente in un paper del 2015 Distilling the Knowledge in a Neural Network di Hinton et al. con un’analogia presa dalle scienze naturali: molti insetti hanno dimensioni specifiche in base alle funzioni diverse che svolgono durante le fasi della loro vita; si va dall’estrazione di sostanze nutritive quando sono ”piccoli” fino alla riproduzione e al trasporto delle stesse quando sono ”grandi”.
Nel deep learning, invece, si utilizzano gli stessi modelli sia per la fase di addestramento, atta ad approssimare le leggi matematiche che regolano il comportamento dei dati, che per quelle di inferenza, atta a generalizzare su dati non presenti durante la fase precedente. L’idea è avere modelli di dimensioni diverse, con il più ”grande” che, dopo aver carpito il comportamento dei dati, passa le sue informazioni al modello più ”piccolo” durante il suo addestramento.
Il processo di distillazione avviene in tre fasi principali:
A questo punto si può fare un bilancio ed elencare vantaggi e svantaggi di questo metodo:
La distillazione è diventata un metodo chiave per trasferire le capacità avanzate degli LLM (Large Language Models) a modelli più piccoli, spesso open source, favorendo la democratizzazione dell’AI generativa.
Gli LLM proprietari sono difficili da adattare a contesti specifici e risultano troppo pesanti per l’esecuzione locale su dispositivi mobili, creando problemi di privacy e logistica. La distillazione consente di ridurre le dimensioni dei modelli mantenendone le capacità, permettendo l’uso su dispositivi più leggeri, senza la necessità di un’infrastruttura a elevato numero di GPU. Di seguito è riportata una serie di task, peculiari per gli LLM, che sfruttano la distillazione:
La distillazione dei modelli è una tecnica essenziale per rendere l’intelligenza artificiale più accessibile ed efficiente. Con il continuo sviluppo di LLM sempre più avanzati, l’uso della distillazione diventerà sempre più importante per garantire un equilibrio tra prestazioni e sostenibilità.
Si potranno, così, avere dei ”pennelli” duttili e pronti per poter dipingere sulla tela della nostra quotidianità.
Gli sviluppatori di Kali Linux hanno rilasciato una nuova release, la 2025.3, che amplia le funzionalità della distribuzione e aggiunge dieci nuovi strumenti di penetration testing. L’aggiornamento...
Il 20 settembre 2025 un cyberattacco ha colpito tre tra i principali scali europei Londra Heathrow, Bruxelles e Berlino. I sistemi digitali che governano il check-in e la gestione dei bagagli sono sta...
Nel contesto di un’attività sempre più criminale, Darktrace ha scoperto una nuova campagna che utilizza la botnet ShadowV2. I ricercatori hanno rilevato attività dannose il 24 giugno 2025, quando...
Il sistema informatico del Comune di Forlì è stato oggetto di un attacco hacker che ha compromesso il funzionamento di diversi servizi digitali. L’amministrazione comunale, riporta Il Resto Del Ca...
Ho lavorato per diversi anni come System Engineer e uno dei compiti che ho svolto è stata la gestione di Citrix PVS. Uno dei problemi con PVS era l’analisi dei file di dump. L’unico modo per gene...