Red Hot Cyber
La cybersecurity è condivisione. Riconosci il rischio, combattilo, condividi le tue esperienze ed incentiva gli altri a fare meglio di te.
Redazione RHC : 31 Maggio 2025 22:22
Man mano che i modelli linguistici di grandi dimensioni diventano più intelligenti, diventano anche più difficili da utilizzare. Ciò crea problemi, soprattutto nei paesi in cui l’accesso ai potenti chip americani è limitato, come la Cina. Tuttavia, anche al di fuori di queste regioni, sta crescendo l’interesse verso soluzioni che rendano l’IA più economica da utilizzare. Sempre più spesso gli sviluppatori utilizzano architetture Mixture of Experts (MoE) e tecnologie di compressione per ridurre i requisiti hardware e i costi di esecuzione dei grandi modelli linguistici (LLM).
Sebbene i primi modelli MoE, come Mixtral di Mistral AI, esistano da molto tempo, hanno iniziato a trovare un utilizzo diffuso nella pratica solo nell’ultimo anno. Oggi, architetture simili sono utilizzate nei modelli di Microsoft, Google, IBM, Meta, DeepSeek e Alibaba, tutti basati sul principio proposto nei primi anni ’90.
L’essenza del MoE è che il modello è costituito da molte sottoreti più piccole, gli “esperti”. Invece di attivare tutti i parametri, come avviene nei tradizionali modelli “densi”, il sistema collega solo gli esperti necessari per svolgere un compito specifico. Ad esempio, DeepSeek V3 utilizza 256 esperti instradati e uno generale, ma solo otto esperti instradati e uno generale sono attivi durante la generazione del testo. Ciò comporta notevoli guadagni in termini di efficienza: meno transazioni, minore produttività e minori costi di manutenzione.
Sei un Esperto di Formazione?
Entra anche tu nel Partner program! Accedi alla sezione riservata ai Creator sulla nostra Academy e scopri i vantaggi riservati ai membri del Partner program.
Contattaci tramite WhatsApp al 375 593 1011 per richiedere ulteriori informazioni oppure scriviti alla casella di posta [email protected]
Supporta RHC attraverso:
Ti piacciono gli articoli di Red Hot Cyber? Non aspettare oltre, iscriviti alla newsletter settimanale per non perdere nessun articolo.
Allo stesso tempo, la qualità dei modelli MoE potrebbe essere leggermente inferiore a quella delle loro controparti più dense. Ad esempio, il modello Qwen3-30B-A3B di Alibaba si è rivelato leggermente più debole nei risultati benchmark rispetto alla versione densa Qwen3-32B. Tuttavia, la nuova architettura richiede una larghezza di banda di memoria notevolmente inferiore: i parametri attivi in MoE rappresentano solo una parte del volume totale, il che consente di fare a meno della costosa memoria HBM.
Per chiarezza, vale la pena confrontare i modelli Meta Llama 3.1 405B e Llama 4 Maverick. Il primo è un modello denso, che richiede oltre 405 GB di memoria e circa 20 TB/s di throughput per servire 50 token al secondo nella versione a 8 bit. Allo stesso tempo, anche il sistema di fascia alta basato su Nvidia HGX H100, il cui costo parte da 300 mila dollari, fornisce 26,8 TB/s e soddisfa praticamente tutte queste esigenze. Per eseguire una versione a 16 bit del modello, sarebbero necessari almeno due sistemi di questo tipo.
Il Llama 4 Maverick è un modello MoE con una quantità di memoria simile, ma ha solo 17 miliardi di parametri attivi. Ciò è sufficiente per ottenere le stesse prestazioni con una velocità di trasmissione inferiore a 1 TB/s. Sulla stessa base hardware, un modello del genere funzionerà molto più velocemente. In alternativa, se la velocità non è un fattore critico, è possibile utilizzarlo su soluzioni più economiche con GDDR6/7 o addirittura DDR, ad esempio sui nuovi server CPU di Intel.
Intel ha già dimostrato questa capacità: una piattaforma dual-socket basata su Xeon 6 con memoria MCRDIMM ad alta velocità ha mostrato una velocità di 240 token al secondo con una latenza media inferiore a 100 ms. Ciò è sufficiente per consentire a circa due dozzine di utenti di lavorare contemporaneamente con il modello.
Tuttavia, MoE riduce solo i requisiti di larghezza di banda, non quelli di memoria. Anche Llama 4 Maverick a 8 bit richiede oltre 400 GB di memoria video. Ed è qui che entra in gioco la seconda tecnologia chiave: la quantizzazione. La sua essenza è comprimere i pesi del modello mantenendone la precisione. Il passaggio da 16 a 8 bit non ha praticamente alcun effetto sulla qualità, ma la compressione a 4 bit richiede già dei compromessi. Alcuni sviluppatori, come DeepSeek, hanno iniziato ad addestrare i modelli direttamente in FP8, il che evita problemi di post-elaborazione.
Parallelamente si ricorre anche a metodi di potatura, ovvero alla rimozione di pesi in eccesso o insignificanti. Nvidia ha utilizzato attivamente questa pratica, rilasciando versioni ridotte di Llama 3 ed è stata una delle prime a implementare il supporto per FP8 e FP4, che riducono i requisiti di memoria e velocizzano i calcoli. AMD, a sua volta, sta preparando dei chip con supporto FP4 il mese prossimo.
Ad aprile Google ha mostrato come è possibile ottenere una compressione 4x nei suoi modelli Gemma 3 utilizzando l’apprendimento consapevole della quantizzazione (QAT). Allo stesso tempo, la qualità non è stata quasi influenzata e le perdite per perplessità sono state ridotte del 54%. Alcuni approcci, come Bitnet, vanno ancora oltre, comprimendo i modelli a 1,58 bit per parametro, il che ne riduce le dimensioni di un fattore 10.
Combinando MoE e quantizzazione, i modelli consumano molto meno memoria e larghezza di banda. Ciò è particolarmente rilevante nell’era delle soluzioni Blackwell Ultra più costose e delle restrizioni sulle esportazioni di chip. Anche se una delle due tecnologie viene utilizzata separatamente, è già in grado di ridurre significativamente i costi di lancio di modelli di grandi dimensioni e di renderli disponibili al di fuori dei data center.
Certo, resta un’ultima domanda: tutto questo porta con sé qualche vantaggio? Secondo un sondaggio IBM, solo il 25% dei progetti di intelligenza artificiale giustificava effettivamente l’investimento. Il resto, non ancora.
RedazionePALERMO, 19 GIUGNO 2025 – Dopo le difficoltà operative registrate negli ultimi giorni, l’Azienda Sanitaria Provinciale di Palermo ha confermato ufficialmente di essere stata colpita...
Una vulnerabilità critica è stata scoperta nel driver di offload del canale dati di OpenVPN per Windows, che può essere sfruttata da attaccanti locali per mandare in crash i sistemi. Il...
Durante una RHC Conference, Corrado Giustozzi sottolineò una verità tanto semplice quanto potente: “L’essere umano è, da sempre, un creatore di amplificatori.”. Dal...
Nelle ultime ore, un’ondata massiccia di defacement ha preso di mira almeno una quindicina di siti web italiani. L’attacco è stato rivendicato dal threat actor xNot_RespondinGx (tea...
Nel mezzo degli intensi combattimenti tra Iran e Israele, il cyberspazio è stato coinvolto in una nuova fase di conflitto. Con il lancio dell’operazione israeliana Rising Lion, mirata all&...
Copyright @ REDHOTCYBER Srl
PIVA 17898011006
