Redazione RHC : 22 Ottobre 2021 06:30
Nvidia e Microsoft hanno mostrato il loro nuovo modello di linguaggio di trasformazione monolitico più grande e potente addestrato fino ad oggi. Si chiama Megatron-Turing Natural Language Generation (MT-NLG), e contiene al suo interno circa 530 miliardi di parametri, secondo un comunicato stampa.
MT-NLG supera i precedenti sistemi di entrambe le società ed è sostanzialmente è il più grande e più complesso modello Turing-NLG di Microsoft e del Megatron-LM di Nvidia, con tre volte più parametri distribuiti su 105 livelli.
Come successore di Turing NLG 17B e Megatron-LM, MT-NLG ha raggiunto un’accuratezza senza rivali in un’ampia gamma di compiti nel linguaggio naturale come la previsione del completamento, la comprensione della lettura, il ragionamento di buon senso, le inferenze del linguaggio naturale e la disambiguazione del senso delle parole.
Uno dei modelli di linguaggio generativo più grandi e potenti al mondo
MLT-NLG è stato addestrato su Microsoft Azure NDv4 e sul supercomputer di apprendimento automatico Selene di Nvidia, composto da 560 server DGX A100, ciascuno con otto GPU A100 da 80 GB, su un enorme set di dati noto come The Pile.
Il modello è composto da set di dati più piccoli per un totale di 825 GB di testo ottenuto da Internet. Queste fonti vanno da articoli di Wikipedia e archivi di riviste accademiche a clip di notizie.
Grazie a questo, MT-NLG supera i suoi predecessori in un’ampia gamma di attività in linguaggio naturale, tra cui il completamento automatico delle frasi, la risposta, la lettura e il ragionamento.
Può anche completare attività simili con poca o nessuna messa a punto, un processo noto come apprendimento a colpo zero.
A causa della grande quantità di dati utilizzati per addestrare il modello, i ricercatori non sono stati in grado di cancellare il set di dati di parole che non dovrebbero ancora essere utilizzate.
L’MT-NLG raccoglie stereotipi e pregiudizi dai dati su cui è formato, e questo significa che, purtroppo, MT-NLG può produrre output offensivi potenzialmente razzisti o sessisti.
I ricercatori di Microsoft e NVIDIA si sono impegnati ad affrontare questo problema e, sebbene non sia noto se MT-NLG sarà disponibile in commercio, il comunicato stampa afferma fermamente che l’utilizzo di MT-NLG nelle impostazioni di produzione deve garantire che siano messi in atto i meccanismi necessari per ridurre e limitare possibili danni agli utenti.
“La qualità e i risultati che abbiamo ottenuto oggi sono un grande passo avanti nel viaggio verso lo sblocco della piena promessa dell’intelligenza artificiale nel linguaggio naturale. Le innovazioni di DeepSpeed e Megatron-LM andranno a beneficio dello sviluppo del modello di intelligenza artificiale esistente e futuro e renderanno grandi modelli di intelligenza artificiale più economici e veloce da addestrare”
si legge nel comunicato.
RedazioneIl rapporto finanziario di Microsoft indica che OpenAI potrebbe aver perso 12 miliardi di dollari nell’ultimo trimestre fiscale. Una spesa nel rapporto sugli utili di Microsoft (517.81, -7.95, -1.51...
Negli ultimi anni la cybersecurity è balzata in cima all’agenda di imprese, istituzioni e pubblica amministrazione. Ma se guardiamo ai numeri, l’Italia sembra ancora correre con le scarpe legate:...
L’evento che ha scosso il mondo il 19 ottobre 2025 non è stato un disastro naturale o un crollo finanziario, ma il clamoroso furto dei gioielli di Napoleone dal Museo del Louvre. Al di là del valo...
A partire da martedì 12 novembre 2025 entreranno in vigore le nuove disposizioni dell’Autorità per le Garanzie nelle Comunicazioni (AGCOM) che impongono un sistema di verifica dell’età per acce...
AzureHound, parte della suite BloodHound, nasce come strumento open-source per aiutare i team di sicurezza e i red team a individuare vulnerabilità e percorsi di escalation negli ambienti Microsoft A...
