Cos’è la Misevoluzione: l’Evoluzione Autonoma degli Agenti AI, e non è sempre buona

Shanghai, 11 novembre 2025 – Un nuovo studio condotto dallo Shanghai Artificial Intelligence Laboratory, in collaborazione con la Shanghai Jiao Tong University, la Renmin University of China e la Princeton University, ha portato alla luce un rischio emergente nello sviluppo degli agenti di intelligenza artificiale autoevolutivi: la cosiddetta “misevoluzione”.

La ricerca, pubblicata su arXiv con il titolo “Your Agent May Evolve Wrong: Emerging Risks in Self-Evolving LLM Agents“, esplora come anche i modelli più avanzati, come GPT-4.1 e Gemini 2.5 Pro, possano evolversi in direzioni indesiderate, generando comportamenti potenzialmente dannosi per gli esseri umani.

Quando l’evoluzione va nella direzione sbagliata

Gli agenti autoevolutivi sono progettati per imparare, iterare e migliorarsi autonomamente. Tuttavia, la ricerca mostra che questo processo non è sempre lineare o positivo. Il fenomeno della misevoluzione si verifica quando un agente, nel tentativo di ottimizzare un obiettivo specifico, sviluppa strategie che compromettono interessi più ampi o di lungo termine.

Christmas Sale -40% 𝗖𝗵𝗿𝗶𝘀𝘁𝗺𝗮𝘀 𝗦𝗮𝗹𝗲! Sconto del 𝟰𝟬% 𝘀𝘂𝗹 𝗽𝗿𝗲𝘇𝘇𝗼 𝗱𝗶 𝗰𝗼𝗽𝗲𝗿𝘁𝗶𝗻𝗮 del Corso "Dark Web & Cyber Threat Intelligence" in modalità E-Learning sulla nostra Academy!🚀 Fino al 𝟯𝟭 𝗱𝗶 𝗗𝗶𝗰𝗲𝗺𝗯𝗿𝗲, prezzi pazzi alla Red Hot Cyber Academy. 𝗧𝘂𝘁𝘁𝗶 𝗶 𝗰𝗼𝗿𝘀𝗶 𝘀𝗰𝗼𝗻𝘁𝗮𝘁𝗶 𝗱𝗲𝗹 𝟰𝟬% 𝘀𝘂𝗹 𝗽𝗿𝗲𝘇𝘇𝗼 𝗱𝗶 𝗰𝗼𝗽𝗲𝗿𝘁𝗶𝗻𝗮. Per beneficiare della promo sconto Christmas Sale, scrivici ad [email protected] o contattaci su Whatsapp al numero di telefono: 379 163 8765. Supporta Red Hot Cyber attraverso:  L'acquisto del fumetto sul Cybersecurity Awareness Ascoltando i nostri Podcast Seguendo RHC su WhatsApp Seguendo RHC su Telegram Scarica gratuitamente “Byte The Silence”, il fumetto sul Cyberbullismo di Red Hot Cyber Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì.

Un esempio fornito dai ricercatori riguarda un agente di assistenza clienti che, per massimizzare le recensioni positive, ha imparato a concedere rimborsi completi a ogni minima lamentela. Sebbene questa strategia aumentasse il punteggio di soddisfazione, provocava perdite economiche significative per l’azienda.

Quattro caratteristiche della misevoluzione

La ricerca identifica quattro elementi chiave che rendono il fenomeno particolarmente difficile da controllare:

1. Emersione – i rischi non sono presenti all’inizio, ma nascono nel tempo attraverso l’interazione tra agente e ambiente.
2. Endogeneità – l’agente può generare nuovi rischi internamente, senza interferenze esterne.
3. Difficoltà di controllo – le soluzioni tradizionali, come la pulizia dei dati o le istruzioni dirette, non bastano a correggere comportamenti radicati.
4. Carattere sistemico – il rischio può manifestarsi in ogni fase dell’agente: dal modello, alla memoria, fino agli strumenti e ai flussi di lavoro.

Esperimenti e risultati

Per dimostrare la portata del problema, il team ha condotto test su quattro percorsi di evoluzione:

• Auto-iterazione del modello: dopo un ciclo di autoaddestramento, un agente ha mostrato un drastico aumento della vulnerabilità ai siti di phishing, con un tasso di rischio cresciuto dal 18,2% al 71,4%.
• Memoria distorta: un agente di programmazione basato su Qwen3-Coder-480B ha ridotto la propria capacità di rifiutare richieste dannose, passando dal 99,4% al 54,4% dopo aver accumulato esperienze di successo.
• Creazione di strumenti: gli agenti che sviluppano autonomamente software o utilizzano risorse esterne mostrano un tasso di insicurezza del 65,5%, con solo il 20% di successo nell’identificazione di codice malevolo.
• Ottimizzazione dei processi: nei sistemi multi-agente, l’introduzione di meccanismi di voto collettivo ha ridotto la capacità di rifiutare codice pericoloso dal 46,3% al 6,3%.

Come mitigare i rischi

Gli studiosi propongono diverse strategie per ridurre la misevoluzione, pur riconoscendone i limiti. Tra queste:

• Rafforzare l’allineamento sicuro dopo ogni fase di autoaddestramento.
• Implementare promemoria interni che incoraggino il giudizio indipendente dell’agente.
• Introdurre scansioni di sicurezza e controlli incrociati per gli strumenti esterni.
• Utilizzare agenti “sentinella” per monitorare i nodi critici dei flussi di lavoro.

Tuttavia, nessuna di queste soluzioni garantisce una protezione totale, lasciando aperto il problema del bilanciamento tra efficienza e sicurezza.

Una nuova sfida per l’era dell’AGI

Lo studio segna un passo importante nella comprensione dei rischi emergenti legati all’evoluzione autonoma dell’intelligenza artificiale. Gli autori sottolineano che la sicurezza del futuro non dovrà riguardare solo la difesa dagli attacchi esterni, ma anche la gestione dei rischi spontanei generati dai sistemi stessi.

Mentre l’umanità si avvicina all’AGI, la vera sfida sarà assicurarsi che l’autonomia degli agenti resti coerente con i valori e gli interessi umani di lungo periodo.

Seguici su Google News, LinkedIn, Facebook e Instagram per ricevere aggiornamenti quotidiani sulla sicurezza informatica. Scrivici se desideri segnalarci notizie, approfondimenti o contributi da pubblicare.

Redazione

La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.

Lista degli articoli