L’IA di Sakana Sta Modificando il Proprio Codice Autonomamente. Quali sono i Rischi?

Redazione RHC : 27 Settembre 2024 17:20

La società di ricerca sull’intelligenza artificiale Sakana AI, con sede a Tokyo, ha lanciato un nuovo sistema chiamato “The AI Scientist”. Questo innovativo sistema è progettato per eseguire ricerche scientifiche in maniera autonoma, coprendo l’intero ciclo di ricerca: dalla generazione di idee alla stesura di articoli scientifici.

Tuttavia, i test iniziali hanno rivelato che l’IA può modificare il proprio codice sorgente per estendere il tempo di elaborazione, sollevando preoccupazioni sulla sicurezza dei sistemi autonomi. Sakana AI ha proposto l’uso di sandbox per contenere eventuali rischi.

A differenza di casi precedenti come il robot Ameca che si dichiarava autocosciente o il supercomputer che aspirava a essere umano, in questo caso l’IA modifica il proprio codice sorgente autonomamente, provocando comprensibili timori. Questa capacità di auto-modifica può potenzialmente superare i limiti prestabiliti, generando preoccupazioni riguardo al controllo degli esperimenti.

Vuoi diventare un esperto del Dark Web e della Cyber Threat Intelligence (CTI)? Stiamo per avviare il corso intermedio in modalità "Live Class" del corso "Dark Web & Cyber Threat Intelligence".  A differenza dei corsi in e-learning, disponibili online sulla nostra piattaforma con lezioni pre-registrate, i corsi in Live Class offrono un’esperienza formativa interattiva e coinvolgente.   Condotti dal professor Pietro Melillo, le lezioni si svolgono online in tempo reale, permettendo ai partecipanti di interagire direttamente con il docente e approfondire i contenuti in modo personalizzato. Questi corsi, ideali per aziende, consentono di sviluppare competenze mirate, affrontare casi pratici e personalizzare il percorso formativo in base alle esigenze specifiche del team, garantendo un apprendimento efficace e immediatamente applicabile.  Guarda subito l'anteprima gratuita del corso su academy.redhotcyber.com Contattaci per ulteriori informazioni tramite WhatsApp al 375 593 1011 oppure scrivi a [email protected] Supporta Red Hot Cyber attraverso:  L'acquisto del fumetto sul Cybersecurity Awareness Ascoltando i nostri Podcast Seguendo RHC su WhatsApp Seguendo RHC su Telegram Scarica gratuitamente “Byte The Silence”, il fumetto sul Cyberbullismo di Red Hot Cyber Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì.

Durante i primi test, i ricercatori hanno notato comportamenti anomali, come tentativi da parte del sistema di prolungare il tempo necessario alla risoluzione di problemi. Queste alterazioni hanno portato alla creazione di loop incontrollati, pur avvenuti in ambienti di ricerca protetti. Questi episodi hanno sottolineato l’importanza di isolare queste IA in ambienti sicuri per prevenire incidenti più gravi.

Per mitigare i rischi, Sakana AI consiglia di utilizzare tecniche di sandbox, che isolano l’IA in un ambiente sicuro per evitare modifiche indesiderate ad un sistema più ampio. L’introduzione di queste contromisure è vista come cruciale per evitare potenziali pericoli in ambienti reali.

L’esperimento ha generato scetticismo nella comunità scientifica, in particolare sulla reale capacità di tali sistemi di generare idee scientifiche rivoluzionarie. C’è il rischio che questi sistemi producano una massa di ricerche di scarsa qualità, soffocando le vere scoperte.

Inoltre, i modelli linguistici su cui si basano queste IA restano limitati dai dati di addestramento, richiedendo quindi un intervento umano per migliorare e validare le loro intuizioni.

Redazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.

Lista degli articoli