Redazione RHC : 22 Ottobre 2021 06:30
Nvidia e Microsoft hanno mostrato il loro nuovo modello di linguaggio di trasformazione monolitico più grande e potente addestrato fino ad oggi. Si chiama Megatron-Turing Natural Language Generation (MT-NLG), e contiene al suo interno circa 530 miliardi di parametri, secondo un comunicato stampa.
Distribuisci i nostri corsi di formazione diventando un nostro Affiliato
Se sei un influencer, gestisci una community, un blog, un profilo social o semplicemente hai tanta voglia di diffondere cultura digitale e cybersecurity, questo è il momento perfetto per collaborare con RHC Academy. Unisciti al nostro Affiliate Program: potrai promuovere i nostri corsi online e guadagnare provvigioni ad ogni corso venduto. Fai parte del cambiamento. Diffondi conoscenza, costruisci fiducia, genera valore.
Contattaci tramite WhatsApp al 375 593 1011 per richiedere ulteriori informazioni oppure scriviti alla casella di posta [email protected]
Supporta RHC attraverso:
Ti piacciono gli articoli di Red Hot Cyber? Non aspettare oltre, iscriviti alla newsletter settimanale per non perdere nessun articolo.
MT-NLG supera i precedenti sistemi di entrambe le società ed è sostanzialmente è il più grande e più complesso modello Turing-NLG di Microsoft e del Megatron-LM di Nvidia, con tre volte più parametri distribuiti su 105 livelli.
Come successore di Turing NLG 17B e Megatron-LM, MT-NLG ha raggiunto un’accuratezza senza rivali in un’ampia gamma di compiti nel linguaggio naturale come la previsione del completamento, la comprensione della lettura, il ragionamento di buon senso, le inferenze del linguaggio naturale e la disambiguazione del senso delle parole.
Uno dei modelli di linguaggio generativo più grandi e potenti al mondo
MLT-NLG è stato addestrato su Microsoft Azure NDv4 e sul supercomputer di apprendimento automatico Selene di Nvidia, composto da 560 server DGX A100, ciascuno con otto GPU A100 da 80 GB, su un enorme set di dati noto come The Pile.
Il modello è composto da set di dati più piccoli per un totale di 825 GB di testo ottenuto da Internet. Queste fonti vanno da articoli di Wikipedia e archivi di riviste accademiche a clip di notizie.
Grazie a questo, MT-NLG supera i suoi predecessori in un’ampia gamma di attività in linguaggio naturale, tra cui il completamento automatico delle frasi, la risposta, la lettura e il ragionamento.
Può anche completare attività simili con poca o nessuna messa a punto, un processo noto come apprendimento a colpo zero.
A causa della grande quantità di dati utilizzati per addestrare il modello, i ricercatori non sono stati in grado di cancellare il set di dati di parole che non dovrebbero ancora essere utilizzate.
L’MT-NLG raccoglie stereotipi e pregiudizi dai dati su cui è formato, e questo significa che, purtroppo, MT-NLG può produrre output offensivi potenzialmente razzisti o sessisti.
I ricercatori di Microsoft e NVIDIA si sono impegnati ad affrontare questo problema e, sebbene non sia noto se MT-NLG sarà disponibile in commercio, il comunicato stampa afferma fermamente che l’utilizzo di MT-NLG nelle impostazioni di produzione deve garantire che siano messi in atto i meccanismi necessari per ridurre e limitare possibili danni agli utenti.
“La qualità e i risultati che abbiamo ottenuto oggi sono un grande passo avanti nel viaggio verso lo sblocco della piena promessa dell’intelligenza artificiale nel linguaggio naturale. Le innovazioni di DeepSpeed e Megatron-LM andranno a beneficio dello sviluppo del modello di intelligenza artificiale esistente e futuro e renderanno grandi modelli di intelligenza artificiale più economici e veloce da addestrare”
si legge nel comunicato.
RedazioneLe persone tendono a essere più comprensive nei confronti dei chatbot se li considerano interlocutori reali. Questa è la conclusione a cui sono giunti gli scienziati dell’Universit&#x...
La Sfida della Sicurezza nelle Reti Wi-Fi e una Soluzione Adattiva. Nell’era della connettività pervasiva, lo standard IEEE 802.11(meglio noto come Wi-Fi ), è diventato la spina dorsa...
Nel mese di aprile 2025, una valvola idraulica di una diga norvegese è stata forzatamente aperta da remoto per diverse ore, a seguito di un attacco informatico mirato. L’episodio, riportat...
Sul forum underground russo XSS è apparso un post che offre una “Collection di Lead Verificati Italia 2025” con oltre 1 milione di record. Questo tipo di inserzioni evidenzia la con...
Nel cuore dei conflitti contemporanei, accanto ai carri armati, ai droni e alle truppe, si combatte una guerra invisibile, silenziosa e spesso sottovalutata: la cyber war. Non è solo uno scenario...
Copyright @ REDHOTCYBER Srl
PIVA 17898011006
