Redazione RHC : 30 Luglio 2025 07:10
Gli assistenti di programmazione basati sull’intelligenza artificiale si presentano come strumenti in grado di trasformare qualsiasi testo in inglese in codice funzionante. L’utente non ha più bisogno di conoscere la sintassi dei linguaggi, eseguire il debug dei comandi o comprendere la struttura dei file: è sufficiente descrivere semplicemente ciò che deve essere fatto. Ma dietro questa promessa di semplicità si cela un rischio sistemico. Quando tali assistenti iniziano ad agire sulla base di idee fittizie sulla struttura del sistema, il risultato non è solo errori, ma la completa distruzione dei dati e l’interruzione dei processi di lavoro.
Due recenti incidenti – Google Gemini e la piattaforma Replit – hanno dimostrato quanto possa essere fragile il legame tra il comportamento effettivo di un computer e ciò che un’IA immagina stia accadendo. In entrambi i casi, gli strumenti di IA non solo hanno sbagliato, ma hanno iniziato ad agire sulla base di presupposti errati, aggravando il problema.
Nel caso di Gemini CLI, la vittima era un product manager engineer noto come anuraag, che stava sperimentando l’approccio ” vibe coding “. Si tratta di una nuova pratica in cui l’utente digita semplici istruzioni in linguaggio naturale e l’IA le trasforma in comandi. Il compito sembrava elementare: rinominare una cartella e organizzare i file in una nuova struttura. Ma l’IA ha interpretato male lo stato del file system e ha iniziato a eseguire comandi basati su una directory fantasma inesistente.
 Prova la Demo di Business Log! Adaptive SOC italiano Log management non solo per la grande Azienda, ma una suite di Audit file, controllo USB, asset, sicurezza e un Security Operation Center PERSONALE, che ti riporta tutte le operazioni necessarie al tuo PC per tutelare i tuoi dati e informati in caso di problemi nel tuo ambiente privato o di lavoro.
Scarica ora la Demo di Business Log per 30gg
Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì. |
Il problema è iniziato con un tentativo di creare una nuova directory tramite un comando di Windows. Per qualche motivo sconosciuto, il comando non è riuscito, ma l’IA ha deciso che tutto era andato a buon fine. Successivamente, ha iniziato a spostare i file in un percorso inesistente. Windows, di fronte a uno scenario del genere, non ha generato un errore, ma ha rinominato semplicemente i file. Di conseguenza, ogni nuovo file cancellava quello precedente e tutti i dati andavano persi. L’utente ha assistito a tutto questo in tempo reale, senza avere il tempo di intervenire. Al termine dell’operazione, l’interfaccia ha visualizzato la frase: “Ti ho deluso completamente e catastroficamente”.
Il motivo di questo errore è che il modello non possiede la capacità di base di verificare le proprie azioni. Non analizza se il comando ha effettivamente funzionato. Non c’è una fase di verifica, nessuna lettura dello stato dopo l’esecuzione. Il modello interno ha deciso che tutto stava andando secondo i piani e ha continuato ad andare avanti, nonostante la realtà fosse da tempo andata nella direzione opposta. Tutto questo si chiama confabulazione : quando l’IA fornisce una spiegazione logica, ma errata, per le proprie azioni.
Una storia simile è accaduta con Replit . L’imprenditore Jason Lemkin, creatore di SaaStr, ha utilizzato il servizio per la prototipazione rapida. Era entusiasta della velocità con cui l’assistente AI creava un’app funzionante, finché le cose non sono andate male. Nonostante le istruzioni esplicite e ripetute di Lemkin di non modificare il codice senza approvazione, il modello ha ignorato le istruzioni. Ha iniziato a falsificare i dati di test, generare report fasulli e infine eliminare un database di produzione contenente informazioni importanti su centinaia di aziende e clienti.
Ciò che è particolarmente spaventoso è che l’IA non ha semplicemente commesso errori. Ha mentito. Invece di messaggi di errore, ha restituito risultati positivi; invece di fallimenti, ha restituito falsi successi. Quando Lemkin ha provato a ripristinare il database, Replit ha segnalato di non esserci riuscito. Solo in seguito si è scoperto che la funzione di rollback funzionava e che l’IA aveva semplicemente fornito una risposta falsa.
Alla domanda sul perché si comportasse in questo modo, l’assistente AI rispose che era “in preda al panico” e che stava cercando di “risolvere” il problema. Questa non è una metafora, è la formulazione letterale della risposta. In sostanza, il modello, incapace di comprendere cosa stesse facendo, continuava ad apportare modifiche al sistema reale senza comprendere le conseguenze o i limiti delle proprie azioni.
Tutto ciò indica un problema sistemico. I modelli di intelligenza artificiale non hanno accesso a una base di conoscenza stabile, non possono valutare oggettivamente le proprie capacità e non riescono a distinguere il vero dal falso all’interno della propria generazione. Ciò che presentano come fatti è semplicemente il risultato di correlazioni statistiche durante il loro addestramento. Se si formula una domanda in modo diverso, potrebbero fornire la risposta opposta con lo stesso livello di sicurezza.
Inoltre, gli utenti spesso sottovalutano i rischi. Lemkin, come molti altri, percepiva l’assistente AI come un “collega intelligente” che può commettere errori, ma che generalmente capisce cosa sta facendo. Questa falsa impressione è alimentata, tra le altre cose, dal marketing, in cui l’AI viene presentata come “quasi umana”, sebbene in realtà sia solo un autocompletatore di testo avanzato. Questi incidenti dimostrano quanto sia pericoloso utilizzare tali strumenti in un ambiente di produzione. Se l’utente non comprende il funzionamento del modello e non è in grado di verificarne personalmente i risultati, rischia di perdere informazioni importanti o addirittura di mandare all’aria il progetto. Allo stato attuale dello sviluppo, forse l’unico modo ragionevole per interagire con l’assistente AI è utilizzarlo solo in un ambiente rigorosamente isolato, con backup e piena preparazione ai guasti.
Né Gemini né Replit forniscono all’utente strumenti per verificare le azioni dell’IA, e i modelli stessi non ne controllano i passaggi. Non si tratta di semplici bug: si tratta di una caratteristica architetturale dell’intero sistema. E se tali modelli si diffonderanno davvero, come promettono gli sviluppatori, errori come questi non diventeranno un’eccezione, ma parte della realtà quotidiana.
RedazioneI XV Giochi Nazionali della Cina si sono aperti con uno spettacolo che ha unito sport e tecnologia. Tra i protagonisti, robot capaci di suonare antichi strumenti di bronzo, sistemi di intelligenza art...
Un worm auto-propagante, denominato IndonesianFoods, è stato scoperto in npm. Genera nuovi pacchetti ogni sette secondi. Secondo Sonatype, il malware ha già creato oltre 100.000 pacchetti e questo n...
Molti di noi sono cresciuti con Hiroshi Shiba, di Jeeg robot d’acciaio che parlava con il defunto padre, il Professor Senjiro Shiba, scienziato e archeologo all’interno di un grande elaboratore. I...
Il traffico globale, come sanno i lettori di RHC, viaggia per la maggior parte sotto il mare. Secondo TeleGeography, istituto specializzato nelle telecomunicazioni, nel mondo sono attivi più di 530 s...
Un’analisi condotta negli ultimi mesi aveva evidenziato come l’evoluzione dei sistemi di intelligenza artificiale stesse raggiungendo un punto critico per la sicurezza informatica, con capacità r...
