Meta AI ci porta nella Traduzione Vocale in tempo reale. Scopri i rivoluzionari Modelli di Traduzione Vocale Seamless!

Redazione RHC : 3 Dicembre 2023 08:54

I ricercatori di Meta AI hanno annunciato di aver sviluppato una nuova serie di modelli di intelligenza artificiale chiamati Seamless Communication che mirano a consentire una comunicazione più naturale e autentica tra le lingue. Questo dando vita in modo efficace al concetto di traduttore vocale universale. I modelli sono stati rilasciati questa settimana insieme a documenti di ricerca e dati di accompagnamento.

Il modello principale, Seamless, combina le funzionalità di altri tre modelli: SeamlessExpressive, SeamlessStreaming e SeamlessM4T v2, creando un unico sistema. Secondo il documento di ricerca, Seamless è “il primo sistema disponibile al pubblico che consente una comunicazione espressiva interlinguistica in tempo reale”.

Come Seamless funziona come traduttore universale in tempo reale

Translator Seamless rappresenta una nuova fase nell’uso dell’intelligenza artificiale per la comunicazione. Combina tre sofisticati modelli di rete neurale per tradurre in tempo reale oltre 100 lingue parlate e scritte preservando lo stile vocale, l’emozione e la prosodia della voce di chi parla.

SeamlessExpressive si concentra sulla preservazione dello stile vocale e delle sfumature emotive della voce di chi parla durante la traduzione da una lingua all’altra. Come afferma l’articolo, “le traduzioni devono trasmettere le sfumature dell’espressione umana. Sebbene gli strumenti di traduzione esistenti siano efficaci nel trasmettere il contenuto di una conversazione, in genere si basano su sistemi di sintesi vocale monotoni e robotici per l’output.”

SeamlessStreaming fornisce una traduzione quasi istantanea con un ritardo di soli due secondi circa. I ricercatori affermano che questo è il “primo modello multilingue su larga scala” a raggiungere velocità di traduzione così elevate in quasi 100 lingue parlate e scritte.

Il terzo modello, SeamlessM4T v2 , funge da base per gli altri due modelli. Questa è una versione aggiornata dell’originale SeamlessM4T rilasciata lo scorso anno. La nuova architettura fornisce “una migliore coerenza tra testo e output vocale”, secondo il documento.

“Nel complesso, Seamless ci offre uno sguardo chiave sulle basi tecniche necessarie per trasformare l’Universal Speech Translator da un concetto di fantascienza a una tecnologia del mondo reale”, hanno scritto i ricercatori.

Potenziale per trasformare la comunicazione globale

I modelli sviluppati aprono la strada a comunicazioni vocali innovative: dalle conversazioni in tempo reale in più lingue utilizzando dispositivi intelligenti, a video e podcast tradotti automaticamente. Tali tecnologie possono rendere la vita degli immigrati e di chiunque si trovi ad affrontare barriere linguistiche molto più semplice, aprendo nuove opportunità per interazioni inclusive.

“Pubblicando il nostro lavoro, speriamo che ricercatori e sviluppatori possano espandere l’impatto dei nostri contributi creando tecnologie che affrontino il multilinguismo in un mondo sempre più interconnesso e interdipendente”, afferma il documento.

Tuttavia, i ricercatori riconoscono che la tecnologia può essere utilizzata anche per scopi dannosi, come attacchi di phishing vocale, video falsi e altre applicazioni dannose. Per promuovere la sicurezza e l’uso responsabile dei modelli, hanno implementato diverse misure, tra cui filigrane audio e nuove tecniche per ridurre la produzione tossica allucinatoria.

I modelli sono disponibili pubblicamente su Hugging Face

In linea con l’impegno di Meta verso la ricerca aperta e la collaborazione, i modelli di Seamless Communication sono stati pubblicati su Hugging Face e Github. La raccolta include modelli Seamless, SeamlessExpressive, SeamlessStreaming e SeamlessM4T v2 insieme ai relativi metadati.

Rendendo disponibili i suoi innovativi modelli di elaborazione del linguaggio naturale, Meta mira a ispirare ricercatori e sviluppatori a sviluppare e migliorare ulteriormente queste tecnologie. L’obiettivo è creare un ponte tra lingue e culture diverse, migliorando la comprensione globale. Questa mossa non solo riafferma la posizione di Meta come leader nelle tecnologie di intelligenza artificiale aperta, ma fornisce anche alla comunità di ricerca una risorsa preziosa e rilevante.

Redazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.