Red Hot Cyber
La cybersecurity è condivisione. Riconosci il rischio, combattilo, condividi le tue esperienze ed incentiva gli altri a fare meglio di te.
Cerca

L’IA costa troppo? Ecco come MoE e quantizzazione stanno cambiando le regole del gioco

Redazione RHC : 31 Maggio 2025 22:22

Man mano che i modelli linguistici di grandi dimensioni diventano più intelligenti, diventano anche più difficili da utilizzare. Ciò crea problemi, soprattutto nei paesi in cui l’accesso ai potenti chip americani è limitato, come la Cina. Tuttavia, anche al di fuori di queste regioni, sta crescendo l’interesse verso soluzioni che rendano l’IA più economica da utilizzare. Sempre più spesso gli sviluppatori utilizzano architetture Mixture of Experts (MoE) e tecnologie di compressione per ridurre i requisiti hardware e i costi di esecuzione dei grandi modelli linguistici (LLM).

Sebbene i primi modelli MoE, come Mixtral di Mistral AI, esistano da molto tempo, hanno iniziato a trovare un utilizzo diffuso nella pratica solo nell’ultimo anno. Oggi, architetture simili sono utilizzate nei modelli di Microsoft, Google, IBM, Meta, DeepSeek e Alibaba, tutti basati sul principio proposto nei primi anni ’90.

L’essenza del MoE è che il modello è costituito da molte sottoreti più piccole, gli “esperti”. Invece di attivare tutti i parametri, come avviene nei tradizionali modelli “densi”, il sistema collega solo gli esperti necessari per svolgere un compito specifico. Ad esempio, DeepSeek V3 utilizza 256 esperti instradati e uno generale, ma solo otto esperti instradati e uno generale sono attivi durante la generazione del testo. Ciò comporta notevoli guadagni in termini di efficienza: meno transazioni, minore produttività e minori costi di manutenzione.


Vuoi diventare un esperto del Dark Web e della Cyber Threat Intelligence (CTI)?
Stiamo per avviare il corso intermedio in modalità "Live Class", previsto per febbraio.
A differenza dei corsi in e-learning, disponibili online sulla nostra piattaforma con lezioni pre-registrate, i corsi in Live Class offrono un’esperienza formativa interattiva e coinvolgente.
Condotti dal professor Pietro Melillo, le lezioni si svolgono online in tempo reale, permettendo ai partecipanti di interagire direttamente con il docente e approfondire i contenuti in modo personalizzato. Questi corsi, ideali per aziende, consentono di sviluppare competenze mirate, affrontare casi pratici e personalizzare il percorso formativo in base alle esigenze specifiche del team, garantendo un apprendimento efficace e immediatamente applicabile.

Contattaci tramite WhatsApp al 375 593 1011 per richiedere ulteriori informazioni oppure scriviti alla casella di posta [email protected]



Supporta RHC attraverso:
  • L'acquisto del fumetto sul Cybersecurity Awareness
  • Ascoltando i nostri Podcast
  • Seguendo RHC su WhatsApp
  • Seguendo RHC su Telegram
  • Scarica gratuitamente "Dark Mirror", il report sul ransomware di Dark Lab


  • Ti piacciono gli articoli di Red Hot Cyber? Non aspettare oltre, iscriviti alla newsletter settimanale per non perdere nessun articolo.


    Allo stesso tempo, la qualità dei modelli MoE potrebbe essere leggermente inferiore a quella delle loro controparti più dense. Ad esempio, il modello Qwen3-30B-A3B di Alibaba si è rivelato leggermente più debole nei risultati benchmark rispetto alla versione densa Qwen3-32B. Tuttavia, la nuova architettura richiede una larghezza di banda di memoria notevolmente inferiore: i parametri attivi in ​​MoE rappresentano solo una parte del volume totale, il che consente di fare a meno della costosa memoria HBM.

    Per chiarezza, vale la pena confrontare i modelli Meta Llama 3.1 405B e Llama 4 Maverick. Il primo è un modello denso, che richiede oltre 405 GB di memoria e circa 20 TB/s di throughput per servire 50 token al secondo nella versione a 8 bit. Allo stesso tempo, anche il sistema di fascia alta basato su Nvidia HGX H100, il cui costo parte da 300 mila dollari, fornisce 26,8 TB/s e soddisfa praticamente tutte queste esigenze. Per eseguire una versione a 16 bit del modello, sarebbero necessari almeno due sistemi di questo tipo.

    Il Llama 4 Maverick è un modello MoE con una quantità di memoria simile, ma ha solo 17 miliardi di parametri attivi. Ciò è sufficiente per ottenere le stesse prestazioni con una velocità di trasmissione inferiore a 1 TB/s. Sulla stessa base hardware, un modello del genere funzionerà molto più velocemente. In alternativa, se la velocità non è un fattore critico, è possibile utilizzarlo su soluzioni più economiche con GDDR6/7 o addirittura DDR, ad esempio sui nuovi server CPU di Intel.

    Intel ha già dimostrato questa capacità: una piattaforma dual-socket basata su Xeon 6 con memoria MCRDIMM ad alta velocità ha mostrato una velocità di 240 token al secondo con una latenza media inferiore a 100 ms. Ciò è sufficiente per consentire a circa due dozzine di utenti di lavorare contemporaneamente con il modello.

    Tuttavia, MoE riduce solo i requisiti di larghezza di banda, non quelli di memoria. Anche Llama 4 Maverick a 8 bit richiede oltre 400 GB di memoria video. Ed è qui che entra in gioco la seconda tecnologia chiave: la quantizzazione. La sua essenza è comprimere i pesi del modello mantenendone la precisione. Il passaggio da 16 a 8 bit non ha praticamente alcun effetto sulla qualità, ma la compressione a 4 bit richiede già dei compromessi. Alcuni sviluppatori, come DeepSeek, hanno iniziato ad addestrare i modelli direttamente in FP8, il che evita problemi di post-elaborazione.

    Parallelamente si ricorre anche a metodi di potatura, ovvero alla rimozione di pesi in eccesso o insignificanti. Nvidia ha utilizzato attivamente questa pratica, rilasciando versioni ridotte di Llama 3 ed è stata una delle prime a implementare il supporto per FP8 e FP4, che riducono i requisiti di memoria e velocizzano i calcoli. AMD, a sua volta, sta preparando dei chip con supporto FP4 il mese prossimo.

    Ad aprile Google ha mostrato come è possibile ottenere una compressione 4x nei suoi modelli Gemma 3 utilizzando l’apprendimento consapevole della quantizzazione (QAT). Allo stesso tempo, la qualità non è stata quasi influenzata e le perdite per perplessità sono state ridotte del 54%. Alcuni approcci, come Bitnet, vanno ancora oltre, comprimendo i modelli a 1,58 bit per parametro, il che ne riduce le dimensioni di un fattore 10.

    Combinando MoE e quantizzazione, i modelli consumano molto meno memoria e larghezza di banda. Ciò è particolarmente rilevante nell’era delle soluzioni Blackwell Ultra più costose e delle restrizioni sulle esportazioni di chip. Anche se una delle due tecnologie viene utilizzata separatamente, è già in grado di ridurre significativamente i costi di lancio di modelli di grandi dimensioni e di renderli disponibili al di fuori dei data center.

    Certo, resta un’ultima domanda: tutto questo porta con sé qualche vantaggio? Secondo un sondaggio IBM, solo il 25% dei progetti di intelligenza artificiale giustificava effettivamente l’investimento. Il resto, non ancora.

    Redazione
    La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.

    Lista degli articoli

    Articoli in evidenza

    Sindoor Dropper: il malware che usa lo scontro India-Pakistan per infettare Linux
    Di Redazione RHC - 31/08/2025

    Un’insidiosa offensiva di malware, nota come “Sindoor Dropper”, si concentra sui sistemi operativi Linux, sfruttando metodi di spear-phishing raffinati e un complesso processo d’infezione arti...

    Che la caccia abbia inizio! Gli hacker sfruttano la falla Citrix per infiltrarsi nei sistemi globali
    Di Redazione RHC - 30/08/2025

    E’ stata rilevata una falla critica zero-day nei sistemi Citrix NetScaler, catalogata come CVE-2025-6543, che è stata oggetto di sfruttamento attivo da parte degli hacker criminali da maggio 2025, ...

    Il Pentagono avvia un Audit su Microsoft. Si indaga sugli ingegneri cinesi e su presunte backdoor
    Di Redazione RHC - 30/08/2025

    Il Pentagono ha inviato una “lettera di preoccupazione” a Microsoft documentando una “violazione di fiducia” in merito all’utilizzo da parte dell’azienda di ingegneri cinesi per la manuten...

    La miglior difesa è l’attacco! Google è pronta a lanciare Cyber Attacchi contro gli hacker criminali
    Di Redazione RHC - 30/08/2025

    Google è pronta ad adottare una posizione più proattiva per proteggere se stessa e potenzialmente altre organizzazioni statunitensi dagli attacchi informatici, con l’azienda che suggerisce di pote...

    Una exploit Zero-Click per WhatsApp consentiva la sorveglianza remota. Meta avvisa le vittime
    Di Redazione RHC - 30/08/2025

    Una falla di sicurezza nelle app di messaggistica di WhatsApp per Apple iOS e macOS è stata sanata, come riferito dalla stessa società, dopo essere stata probabilmente sfruttata su larga scala insie...