Redazione RHC : 31 Maggio 2025 22:22
Man mano che i modelli linguistici di grandi dimensioni diventano più intelligenti, diventano anche più difficili da utilizzare. Ciò crea problemi, soprattutto nei paesi in cui l’accesso ai potenti chip americani è limitato, come la Cina. Tuttavia, anche al di fuori di queste regioni, sta crescendo l’interesse verso soluzioni che rendano l’IA più economica da utilizzare. Sempre più spesso gli sviluppatori utilizzano architetture Mixture of Experts (MoE) e tecnologie di compressione per ridurre i requisiti hardware e i costi di esecuzione dei grandi modelli linguistici (LLM).
Sebbene i primi modelli MoE, come Mixtral di Mistral AI, esistano da molto tempo, hanno iniziato a trovare un utilizzo diffuso nella pratica solo nell’ultimo anno. Oggi, architetture simili sono utilizzate nei modelli di Microsoft, Google, IBM, Meta, DeepSeek e Alibaba, tutti basati sul principio proposto nei primi anni ’90.
L’essenza del MoE è che il modello è costituito da molte sottoreti più piccole, gli “esperti”. Invece di attivare tutti i parametri, come avviene nei tradizionali modelli “densi”, il sistema collega solo gli esperti necessari per svolgere un compito specifico. Ad esempio, DeepSeek V3 utilizza 256 esperti instradati e uno generale, ma solo otto esperti instradati e uno generale sono attivi durante la generazione del testo. Ciò comporta notevoli guadagni in termini di efficienza: meno transazioni, minore produttività e minori costi di manutenzione.
Prompt Engineering & Sicurezza: diventa l’esperto che guida l’AIVuoi dominare l’AI generativa e usarla in modo sicuro e professionale? Con il Corso Prompt Engineering: dalle basi alla cybersecurity, guidato da Luca Vinciguerra, data scientist ed esperto di sicurezza informatica, impari a creare prompt efficaci, ottimizzare i modelli linguistici e difenderti dai rischi legati all’intelligenza artificiale. Un percorso pratico e subito spendibile per distinguerti nel mondo del lavoro. Non restare indietro: investi oggi nelle tue competenze e porta il tuo profilo professionale a un nuovo livello. Guarda subito l'anteprima gratuita del corso su academy.redhotcyber.com Contattaci per ulteriori informazioni tramite WhatsApp al 375 593 1011 oppure scrivi a [email protected]  Supporta RHC attraverso:
Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì. |
Allo stesso tempo, la qualità dei modelli MoE potrebbe essere leggermente inferiore a quella delle loro controparti più dense. Ad esempio, il modello Qwen3-30B-A3B di Alibaba si è rivelato leggermente più debole nei risultati benchmark rispetto alla versione densa Qwen3-32B. Tuttavia, la nuova architettura richiede una larghezza di banda di memoria notevolmente inferiore: i parametri attivi in MoE rappresentano solo una parte del volume totale, il che consente di fare a meno della costosa memoria HBM.
Per chiarezza, vale la pena confrontare i modelli Meta Llama 3.1 405B e Llama 4 Maverick. Il primo è un modello denso, che richiede oltre 405 GB di memoria e circa 20 TB/s di throughput per servire 50 token al secondo nella versione a 8 bit. Allo stesso tempo, anche il sistema di fascia alta basato su Nvidia HGX H100, il cui costo parte da 300 mila dollari, fornisce 26,8 TB/s e soddisfa praticamente tutte queste esigenze. Per eseguire una versione a 16 bit del modello, sarebbero necessari almeno due sistemi di questo tipo.
Il Llama 4 Maverick è un modello MoE con una quantità di memoria simile, ma ha solo 17 miliardi di parametri attivi. Ciò è sufficiente per ottenere le stesse prestazioni con una velocità di trasmissione inferiore a 1 TB/s. Sulla stessa base hardware, un modello del genere funzionerà molto più velocemente. In alternativa, se la velocità non è un fattore critico, è possibile utilizzarlo su soluzioni più economiche con GDDR6/7 o addirittura DDR, ad esempio sui nuovi server CPU di Intel.
Intel ha già dimostrato questa capacità: una piattaforma dual-socket basata su Xeon 6 con memoria MCRDIMM ad alta velocità ha mostrato una velocità di 240 token al secondo con una latenza media inferiore a 100 ms. Ciò è sufficiente per consentire a circa due dozzine di utenti di lavorare contemporaneamente con il modello.
Tuttavia, MoE riduce solo i requisiti di larghezza di banda, non quelli di memoria. Anche Llama 4 Maverick a 8 bit richiede oltre 400 GB di memoria video. Ed è qui che entra in gioco la seconda tecnologia chiave: la quantizzazione. La sua essenza è comprimere i pesi del modello mantenendone la precisione. Il passaggio da 16 a 8 bit non ha praticamente alcun effetto sulla qualità, ma la compressione a 4 bit richiede già dei compromessi. Alcuni sviluppatori, come DeepSeek, hanno iniziato ad addestrare i modelli direttamente in FP8, il che evita problemi di post-elaborazione.
Parallelamente si ricorre anche a metodi di potatura, ovvero alla rimozione di pesi in eccesso o insignificanti. Nvidia ha utilizzato attivamente questa pratica, rilasciando versioni ridotte di Llama 3 ed è stata una delle prime a implementare il supporto per FP8 e FP4, che riducono i requisiti di memoria e velocizzano i calcoli. AMD, a sua volta, sta preparando dei chip con supporto FP4 il mese prossimo.
Ad aprile Google ha mostrato come è possibile ottenere una compressione 4x nei suoi modelli Gemma 3 utilizzando l’apprendimento consapevole della quantizzazione (QAT). Allo stesso tempo, la qualità non è stata quasi influenzata e le perdite per perplessità sono state ridotte del 54%. Alcuni approcci, come Bitnet, vanno ancora oltre, comprimendo i modelli a 1,58 bit per parametro, il che ne riduce le dimensioni di un fattore 10.
Combinando MoE e quantizzazione, i modelli consumano molto meno memoria e larghezza di banda. Ciò è particolarmente rilevante nell’era delle soluzioni Blackwell Ultra più costose e delle restrizioni sulle esportazioni di chip. Anche se una delle due tecnologie viene utilizzata separatamente, è già in grado di ridurre significativamente i costi di lancio di modelli di grandi dimensioni e di renderli disponibili al di fuori dei data center.
Certo, resta un’ultima domanda: tutto questo porta con sé qualche vantaggio? Secondo un sondaggio IBM, solo il 25% dei progetti di intelligenza artificiale giustificava effettivamente l’investimento. Il resto, non ancora.
RedazioneGli hacker prendono sempre più di mira i backup , non i sistemi o i server, ma i dati che le aziende conservano per un periodo di tempo limitato, in modo da potersi riprendere in caso di attacchi. Un...
Sabato 20 settembre 2025 un attacco informatico ha colpito un fornitore di servizi utilizzati da diversi aeroporti europei, tra cui Bruxelles, Berlino e Londra-Heathrow. L’incidente ha causato notev...
Un disegno di legge volto a potenziare la presenza delle Forze Armate nello spazio cibernetico è stato sottoposto all’esame della Camera. Il provvedimento, sostenuto dal presidente della Commission...
Due ragazzi militanti nel gruppo Scattered Spider sono stati incriminati nell’ambito delle indagini della National Crime Agency su un attacco informatico a Transport for London (TfL). Il 31 agosto 2...
Avevamo già parlato della proposta di regolamento “ChatControl” quasi due anni fa, ma vista la roadmap che è in atto ci troviamo nell’imbarazzo di doverne parlare nuovamente. Sembra però un d...
