Redazione RHC : 30 Luglio 2025 07:10
Gli assistenti di programmazione basati sull’intelligenza artificiale si presentano come strumenti in grado di trasformare qualsiasi testo in inglese in codice funzionante. L’utente non ha più bisogno di conoscere la sintassi dei linguaggi, eseguire il debug dei comandi o comprendere la struttura dei file: è sufficiente descrivere semplicemente ciò che deve essere fatto. Ma dietro questa promessa di semplicità si cela un rischio sistemico. Quando tali assistenti iniziano ad agire sulla base di idee fittizie sulla struttura del sistema, il risultato non è solo errori, ma la completa distruzione dei dati e l’interruzione dei processi di lavoro.
Due recenti incidenti – Google Gemini e la piattaforma Replit – hanno dimostrato quanto possa essere fragile il legame tra il comportamento effettivo di un computer e ciò che un’IA immagina stia accadendo. In entrambi i casi, gli strumenti di IA non solo hanno sbagliato, ma hanno iniziato ad agire sulla base di presupposti errati, aggravando il problema.
Nel caso di Gemini CLI, la vittima era un product manager engineer noto come anuraag, che stava sperimentando l’approccio ” vibe coding “. Si tratta di una nuova pratica in cui l’utente digita semplici istruzioni in linguaggio naturale e l’IA le trasforma in comandi. Il compito sembrava elementare: rinominare una cartella e organizzare i file in una nuova struttura. Ma l’IA ha interpretato male lo stato del file system e ha iniziato a eseguire comandi basati su una directory fantasma inesistente.
CALL FOR SPONSOR - Sponsorizza l'ottavo episodio della serie Betti-RHC
Sei un'azienda innovativa, che crede nella diffusione di concetti attraverso metodi "non convenzionali"?
Conosci il nostro corso sul cybersecurity awareness a fumetti?
Red Hot Cyber sta ricercando un nuovo sponsor per una nuova puntata del fumetto Betti-RHC mentre il team è impegnato a realizzare 3 nuovi episodi che ci sono stati commissionati.
Contattaci tramite WhatsApp al numero 375 593 1011 per richiedere ulteriori informazioni oppure alla casella di posta [email protected]
Supporta RHC attraverso:
Ti piacciono gli articoli di Red Hot Cyber? Non aspettare oltre, iscriviti alla newsletter settimanale per non perdere nessun articolo.
Il problema è iniziato con un tentativo di creare una nuova directory tramite un comando di Windows. Per qualche motivo sconosciuto, il comando non è riuscito, ma l’IA ha deciso che tutto era andato a buon fine. Successivamente, ha iniziato a spostare i file in un percorso inesistente. Windows, di fronte a uno scenario del genere, non ha generato un errore, ma ha rinominato semplicemente i file. Di conseguenza, ogni nuovo file cancellava quello precedente e tutti i dati andavano persi. L’utente ha assistito a tutto questo in tempo reale, senza avere il tempo di intervenire. Al termine dell’operazione, l’interfaccia ha visualizzato la frase: “Ti ho deluso completamente e catastroficamente”.
Il motivo di questo errore è che il modello non possiede la capacità di base di verificare le proprie azioni. Non analizza se il comando ha effettivamente funzionato. Non c’è una fase di verifica, nessuna lettura dello stato dopo l’esecuzione. Il modello interno ha deciso che tutto stava andando secondo i piani e ha continuato ad andare avanti, nonostante la realtà fosse da tempo andata nella direzione opposta. Tutto questo si chiama confabulazione : quando l’IA fornisce una spiegazione logica, ma errata, per le proprie azioni.
Una storia simile è accaduta con Replit . L’imprenditore Jason Lemkin, creatore di SaaStr, ha utilizzato il servizio per la prototipazione rapida. Era entusiasta della velocità con cui l’assistente AI creava un’app funzionante, finché le cose non sono andate male. Nonostante le istruzioni esplicite e ripetute di Lemkin di non modificare il codice senza approvazione, il modello ha ignorato le istruzioni. Ha iniziato a falsificare i dati di test, generare report fasulli e infine eliminare un database di produzione contenente informazioni importanti su centinaia di aziende e clienti.
Ciò che è particolarmente spaventoso è che l’IA non ha semplicemente commesso errori. Ha mentito. Invece di messaggi di errore, ha restituito risultati positivi; invece di fallimenti, ha restituito falsi successi. Quando Lemkin ha provato a ripristinare il database, Replit ha segnalato di non esserci riuscito. Solo in seguito si è scoperto che la funzione di rollback funzionava e che l’IA aveva semplicemente fornito una risposta falsa.
Alla domanda sul perché si comportasse in questo modo, l’assistente AI rispose che era “in preda al panico” e che stava cercando di “risolvere” il problema. Questa non è una metafora, è la formulazione letterale della risposta. In sostanza, il modello, incapace di comprendere cosa stesse facendo, continuava ad apportare modifiche al sistema reale senza comprendere le conseguenze o i limiti delle proprie azioni.
Tutto ciò indica un problema sistemico. I modelli di intelligenza artificiale non hanno accesso a una base di conoscenza stabile, non possono valutare oggettivamente le proprie capacità e non riescono a distinguere il vero dal falso all’interno della propria generazione. Ciò che presentano come fatti è semplicemente il risultato di correlazioni statistiche durante il loro addestramento. Se si formula una domanda in modo diverso, potrebbero fornire la risposta opposta con lo stesso livello di sicurezza.
Inoltre, gli utenti spesso sottovalutano i rischi. Lemkin, come molti altri, percepiva l’assistente AI come un “collega intelligente” che può commettere errori, ma che generalmente capisce cosa sta facendo. Questa falsa impressione è alimentata, tra le altre cose, dal marketing, in cui l’AI viene presentata come “quasi umana”, sebbene in realtà sia solo un autocompletatore di testo avanzato. Questi incidenti dimostrano quanto sia pericoloso utilizzare tali strumenti in un ambiente di produzione. Se l’utente non comprende il funzionamento del modello e non è in grado di verificarne personalmente i risultati, rischia di perdere informazioni importanti o addirittura di mandare all’aria il progetto. Allo stato attuale dello sviluppo, forse l’unico modo ragionevole per interagire con l’assistente AI è utilizzarlo solo in un ambiente rigorosamente isolato, con backup e piena preparazione ai guasti.
Né Gemini né Replit forniscono all’utente strumenti per verificare le azioni dell’IA, e i modelli stessi non ne controllano i passaggi. Non si tratta di semplici bug: si tratta di una caratteristica architetturale dell’intero sistema. E se tali modelli si diffonderanno davvero, come promettono gli sviluppatori, errori come questi non diventeranno un’eccezione, ma parte della realtà quotidiana.
RedazioneNegli ultimi giorni, diversi Centri di Assistenza Fiscale (CAF) italiani — tra cui CAF CIA, CAF UIL e CAF CISL — stanno segnalando un’ondata di messaggi SMS sospetti inviati diret...
Nelle ultime settimane, diversi sviluppatori open source sono stati colpiti da attacchi di phishing, che hanno infettato con malware i pacchetti, alcuni dei quali vengono scaricati 30 milioni di volte...
Un attacco informatico ai danni di ACEA SpA, colosso italiano attivo nella produzione e distribuzione di elettricità, gas e servizi idrici, è stato rivendicato dai criminali informatici di W...
Negli ultimi anni, la cybersecurity ha visto emergere minacce sempre più sofisticate, capaci di compromettere dispositivi e dati personali senza che l’utente compia alcuna azione. Tra ques...
Sygnia segnala che il vettore di attacco iniziale di Fire Ant CVE-2023-34048, sfrutta la vulnerabilità di scrittura fuori dai limiti nell’implementazione del protocollo DCERPC di vCenter S...
Iscriviti alla newsletter settimanale di Red Hot Cyber per restare sempre aggiornato sulle ultime novità in cybersecurity e tecnologia digitale.
Copyright @ REDHOTCYBER Srl
PIVA 17898011006
