Red Hot Cyber
Condividi la tua difesa. Incoraggia l'eccellenza. La vera forza della cybersecurity risiede nell'effetto moltiplicatore della conoscenza.
Redazione RHC : 22 Ottobre 2021 06:30
Nvidia e Microsoft hanno mostrato il loro nuovo modello di linguaggio di trasformazione monolitico più grande e potente addestrato fino ad oggi. Si chiama Megatron-Turing Natural Language Generation (MT-NLG), e contiene al suo interno circa 530 miliardi di parametri, secondo un comunicato stampa.
MT-NLG supera i precedenti sistemi di entrambe le società ed è sostanzialmente è il più grande e più complesso modello Turing-NLG di Microsoft e del Megatron-LM di Nvidia, con tre volte più parametri distribuiti su 105 livelli.
Come successore di Turing NLG 17B e Megatron-LM, MT-NLG ha raggiunto un’accuratezza senza rivali in un’ampia gamma di compiti nel linguaggio naturale come la previsione del completamento, la comprensione della lettura, il ragionamento di buon senso, le inferenze del linguaggio naturale e la disambiguazione del senso delle parole.
Uno dei modelli di linguaggio generativo più grandi e potenti al mondo
MLT-NLG è stato addestrato su Microsoft Azure NDv4 e sul supercomputer di apprendimento automatico Selene di Nvidia, composto da 560 server DGX A100, ciascuno con otto GPU A100 da 80 GB, su un enorme set di dati noto come The Pile.
Il modello è composto da set di dati più piccoli per un totale di 825 GB di testo ottenuto da Internet. Queste fonti vanno da articoli di Wikipedia e archivi di riviste accademiche a clip di notizie.
Grazie a questo, MT-NLG supera i suoi predecessori in un’ampia gamma di attività in linguaggio naturale, tra cui il completamento automatico delle frasi, la risposta, la lettura e il ragionamento.
Può anche completare attività simili con poca o nessuna messa a punto, un processo noto come apprendimento a colpo zero.
A causa della grande quantità di dati utilizzati per addestrare il modello, i ricercatori non sono stati in grado di cancellare il set di dati di parole che non dovrebbero ancora essere utilizzate.
L’MT-NLG raccoglie stereotipi e pregiudizi dai dati su cui è formato, e questo significa che, purtroppo, MT-NLG può produrre output offensivi potenzialmente razzisti o sessisti.
I ricercatori di Microsoft e NVIDIA si sono impegnati ad affrontare questo problema e, sebbene non sia noto se MT-NLG sarà disponibile in commercio, il comunicato stampa afferma fermamente che l’utilizzo di MT-NLG nelle impostazioni di produzione deve garantire che siano messi in atto i meccanismi necessari per ridurre e limitare possibili danni agli utenti.
“La qualità e i risultati che abbiamo ottenuto oggi sono un grande passo avanti nel viaggio verso lo sblocco della piena promessa dell’intelligenza artificiale nel linguaggio naturale. Le innovazioni di DeepSpeed e Megatron-LM andranno a beneficio dello sviluppo del modello di intelligenza artificiale esistente e futuro e renderanno grandi modelli di intelligenza artificiale più economici e veloce da addestrare”
si legge nel comunicato.
RedazioneIn Australia, a breve sarà introdotta una normativa innovativa che vieta l’accesso ai social media per i minori di 16 anni, un’iniziativa che farà scuola a livello mondiale. Un’analoga misura ...
Il Dipartimento di Giustizia degli Stati Uniti ha accusato i fratelli gemelli Muneeb e Sohaib Akhter di aver cancellato 96 database contenenti informazioni sensibili, tra cui verbali di indagini e doc...
Malgrado le difficoltà geopolitiche significative, il settore degli spyware mercenari resta una minaccia adattabile e persistente; in questo contesto, il noto fornitore Intellexa prosegue l’espansi...
Secondo Eurostat nel 2023 solo il 55% dei cittadini dell’Unione Europea tra i 16 e i 74 anni possedeva competenze digitali almeno di base, con forti differenze tra paesi: si va da valori intorno all...
Cloudflare ha registrato un’interruzione significativa nella mattina del 5 dicembre 2025, quando alle 08:47 UTC una parte della propria infrastruttura ha iniziato a generare errori interni. L’inci...
