NVIDIA lancia Nemotron 3.5. Il modello Open weight da 120 miliardi di parametri e cinque volte più veloce

NVIDIA ha rilasciato Nemotron 3.5 Super VL, un modello di intelligenza artificiale multimodale con 120 miliardi di parametri, dichiarando che elabora le richieste fino a cinque volte più velocemente di altri modelli aperti. La fonte è NVIDIA.

NVIDIA ha rilasciato Nemotron 3.5 Super VL, un modello di intelligenza artificiale multimodale con 120 miliardi di parametri, in grado di lavorare con testo, immagini, documenti, video e strumenti esterni. L’azienda dichiara che in alcune attività elabora le richieste fino a cinque volte più velocemente di altri modelli aperti della stessa classe, anche se il vantaggio dipende dallo scenario specifico e dall’hardware.

Nemotron 3.5 Super VL è progettato principalmente per agenti di intelligenza artificiale, che non si limitano a rispondere alle domande. Il modello può cercare informazioni, analizzare documenti e tabelle, esaminare video, scrivere e verificare codice, nonché accedere agli strumenti connessi.

Gli sviluppatori possono ulteriormente addestrare Nemotron sui propri dati e avviarlo nella propria infrastruttura.

Con i suoi imponenti 120 miliardi di parametri, il modello utilizza per l’elaborazione di ogni token solo circa 12 miliardi. Questo principio è chiamato miscelazione: all’interno della grande rete neurale operano diversi blocchi specializzati, e per un particolare frammento di testo il sistema attiva solo la parte necessaria. Il computer deve eseguire meno calcoli, quindi un modello più grande può rispondere più velocemente e richiedere meno risorse.

NVIDIA ha unito questo approccio con le architetture Transformer e Mamba. Gli sviluppatori hanno anche insegnato al modello a prevedere in anticipo diversi token successivi per accelerare la generazione. Nei test tecnici, un acceleratore GB200 produceva fino a 4856 token di output al secondo, a condizione che ogni utente ricevesse almeno 50 token al secondo. La versione con formato a quattro bit NVFP4 ha mostrato una capacità di throughput 2,43 volte superiore rispetto alla variante BF16.

Le dichiarazioni «cinque volte più veloce» richiedono tuttavia delle precisazioni. NVIDIA ha ottenuto tale risultato confrontando la capacità di throughput su un singolo processore grafico in un determinato set di attività. In un altro test, in cui al modelli è stato affidato il compito di eseguire 10.000 compiti di programmazione, Nemotron 3.5 Super VL ha completato il lavoro circa quattro volte più velocemente dei concorrenti. Test indipendenti in altre configurazioni potrebbero dare risultati diversi.

Insieme a Super VL, l’azienda ha ampliato la famiglia con due modelli compatti Nemotron 3.5 Bolt per l’esecuzione locale. Bolt 74B-A9B occupa 24 GB di memoria grazie alla quantizzazione a due bit e può funzionare su computer compatibili senza inviare tutti i dati al cloud. La versione ancora più compatta Bolt E4B richiede circa 4 GB di memoria ed è orientata agli assistenti vocali e ai dispositivi con risorse limitate.

NVIDIA ha già aperto l’accesso a Nemotron 3.5 Super VL e Bolt 74B-A9B, mentre Bolt E4B dovrebbe essere rilasciata il 23 ottobre. Per Super VL, l’azienda pubblica i pesi del modello, le varianti BF16 e NVFP4, i set di dati e i materiali per l’ulteriore addestramento.

Ora spetta agli sviluppatori verificare se la velocità dichiarata si manterrà nelle reali sistemi, dove gli agenti di intelligenza artificiale devono mantenere un ampio contesto, accedere agli strumenti e eseguire lunghe catene di azioni.

Carolina Vivianti

Carolina Vivianti è consulente/Advisor autonomo in sicurezza informatica con esperienza nel settore tech e security. Ha lavorato come Security Advisor per Ford EU/Ford Motor Company e Vodafone e ha studi presso la Sapienza Università di Roma.

Aree di competenza: Cybersecurity, IT Risk Management, Security Advisory, Threat Analysis, Data Protection, Cloud Security, Compliance & Governance