Nvidia rivoluziona il riconoscimento vocale: rilasciata una IA open weight per 40 lingue

Nvidia ha presentato Nemotron 3.5 Transcribe, un modello di intelligenza artificiale open weight per il riconoscimento vocale in 40 lingue. Il modello, che supporta registrazioni fino a un'ora e può elaborare conversazioni fino ad otto persone, è stato rilasciato con un set di dati per l'addestramento e strumenti per adattamenti specializzati. Nemotron 3.5 Transcribe ha ottenuto risultati eccellenti nei test di riconoscimento vocale e identificazione dei parlanti, superando modelli concorrenti.

L’azienda Nvidia ha presentato il modello di intelligenza artificiale Nemotron 3.5 Transcribe in modalità open weight per il riconoscimento vocale, la traduzione e l’analisi di registrazioni audio. Il modello supporta molte lingue e consente di elaborare audio della durata fino a un’ora. Il rilascio include anche un set di dati per l’addestramento e strumenti che permettono di adattare l’IA a compiti specializzati.

Nemotron 3.5 Transcribe riconosce il parlato in 40 lingue, traduce da 31 lingue all’inglese e viceversa, e identifica i parlanti in 13 lingue. Il modello è in grado di elaborare registrazioni con fino a otto persone, inclusi interlocutori che si interrompono a vicenda.

Grazie a istruzioni testuali, l’utente può ottenere una trascrizione con l’indicazione delle persone che parlano, una traduzione in un’altra lingua, un riassunto delle decisioni prese durante la conversazione o risposte a domande sul contenuto della registrazione audio. 

Il numero totale di parametri del modello è di 30 miliardi, ma durante l’elaborazione di ogni frammento di dati sono attivi circa 4 miliardi. Grazie a ciò, Nemotron 3.5 Transcribe può funzionare anche su una singola scheda video Nvidia, ad esempio sulla compatta DGX Spark. Sulla scheda grafica di punta RTX PRO 6000 Blackwell Server Edition, il modello elabora 100 ore di audio in meno di tre minuti utilizzando il formato NVFP4.

Nel test Open ASR Leaderboard sulla piattaforma Hugging Face, il modello ha ottenuto il primo posto tra i modelli con pesi aperti con una percentuale media di errori di riconoscimento delle parole del 5,33%. Nei test del benchmark indipendente Artificial Analysis, il valore è stato del 2,81%, vicino al risultato del modello Mistral Voxtral Small, pari al 2,77%, anche se in Mistral i parametri attivi sono circa sei volte superiori.

Nemotron 3.5 Transcribe ha ottenuto risultati particolarmente elevati nell’identificazione della parola. Nel test VoiceArena, che includeva 14 sistemi e registrazioni con discorsi simultanei di più partecipanti, il modello ha ottenuto il primo posto. La percentuale di parole mancanti è stata dell’8,32% rispetto a un valore mediano di circa il 31% tra i partecipanti al confronto.

Nel test David AI, che valuta l’accuratezza dell’identificazione dei parlanti in 21 lingue, il modello ha mostrato il miglior risultato, superando di poco il modello specializzato Nemotron 3 Diarization.

Contemporaneamente, Nvidia ha presentato il set di dati Granary v2, che include circa 844.000 ore di registrazioni audio in 48 lingue. Per confronto: la versione precedente conteneva circa 643.000 ore di parlato in 25 lingue. Le registrazioni sono presentate in diverse varianti di trascrizione: letterale, che conserva le parole parassite, e con la registrazione dei numeri in parole.

Nvidia ha anche aggiunto al rilascio strumenti per la preparazione di set di dati. Questi possono essere utilizzati per adattare il modello a specifiche aree. Ad esempio, durante il riaddestramento su registrazioni mediche con la partecipazione di medici e studenti di medicina indiani, la frequenza degli errori è diminuita dal 30,8% all’11,8%. Per verificare i risultati su nuove voci sconosciute al modello di intelligenza artificiale, il valore è diminuito dal 22,44% al 12,17%.

Il modello Nemotron 3.5 Transcribe e il set di dati Granary v2 sono disponibili su Hugging Face. Nvidia fornisce anche una versione dimostrativa e una guida al riaddestramento, inclusa un’estensione che permette di affidare il processo corrispondente a un assistente IA per la programmazione. Le capacità del modello variano a seconda della lingua. Inoltre, il sistema è progettato per l’elaborazione di registrazioni già pronte, non di audio in streaming, quindi Nvidia consiglia di verificare ulteriormente i nomi e i momenti di cambio dei parlanti.

Carolina Vivianti

Carolina Vivianti è consulente/Advisor autonomo in sicurezza informatica con esperienza nel settore tech e security. Ha lavorato come Security Advisor per Ford EU/Ford Motor Company e Vodafone e ha studi presso la Sapienza Università di Roma.

Aree di competenza: Cybersecurity, IT Risk Management, Security Advisory, Threat Analysis, Data Protection, Cloud Security, Compliance & Governance