Red Hot Cyber
Sicurezza Informatica, Notizie su Cybercrime e Analisi Vulnerabilità
Secondo quanto riferito da Wired venerdì scorso, il team Superalignment di OpenAI, incaricato di controllare il pericolo esistenziale di un sistema di intelligenza artificiale sovrumana, è stato sciolto.
La notizia arriva pochi giorni dopo che i fondatori del team, Ilya Sutskever e Jan Leike, hanno lasciato contemporaneamente l’azienda.
Wired riferisce che il team Superalignment di OpenAI, lanciato per la prima volta nel luglio 2023 per impedire che i sistemi di intelligenza artificiale sovrumani in futuro diventino delle canaglie, non esiste più. Il rapporto afferma che il lavoro del gruppo sarà assorbito negli altri sforzi di ricerca di OpenAI.
Secondo Wired, la ricerca sui rischi associati a modelli di intelligenza artificiale più potenti sarà ora condotta dal cofondatore di OpenAI John Schulman. Sutskever e Leike erano alcuni dei migliori scienziati di OpenAI concentrati sui rischi dell’IA.
Leike ha pubblicato un lungo thread su X spiegando vagamente perché ha lasciato OpenAI. Dice che è da tempo in conflitto con la leadership di OpenAI sui valori fondamentali, ma questa settimana ha raggiunto un punto di rottura.
Sottolineando il modo in cui OpenAI affronta la sicurezza, Leike ha affermato nel suo post: “Negli ultimi anni, la cultura e i processi della sicurezza sono passati in secondo piano rispetto a prodotti brillanti” e “OpenAI deve diventare un’azienda AGI attenta alla sicurezza”.
Secondo Leike, OpenAI dovrebbe dedicare più tempo alla “preparazione per le prossime generazioni di modelli, alla sicurezza, al monitoraggio, alla preparazione, alla sicurezza, alla robustezza dell’avversario, al (super)allineamento, alla riservatezza, all’impatto sociale e ad argomenti correlati”, ed è preoccupato che OpenAI non sia su quella traiettoria.
All’interno del Superalignment team veniva riportato quanto segue: “Abbiamo bisogno di scoperte scientifiche e tecniche per guidare e controllare i sistemi di intelligenza artificiale molto più intelligenti di noi. Per risolvere questo problema entro quattro anni, stiamo creando un nuovo team, co-guidato da Ilya Sutskever e Jan Leike, e dedicheremo il 20% del calcolo che abbiamo ottenuto finora a questo impegno. Cerchiamo eccellenti ricercatori e ingegneri ML che si uniscano a noi“. Ma sembrerebbe che il team sia sempre stato alla ricerca della potenza di calcolo per poter agire in modo indipendente.
Nel mentre i fondatori Sam Altman e Greg Brockman stanno lavorando per rassicurare le parti interessate. Le partenze di Sutskever e Leike avvengono in un contesto di tensioni sugli approcci allo sviluppo dell’IA. Altman e Brockman sono ora sotto esame a seguito del riassetto del dipartimento di sicurezza.
Abbiamo chiesto a ChatGPT un commento su questi fatti e questa è stata la sua risposta.
