Redazione RHC : 30 Luglio 2025 07:10
Gli assistenti di programmazione basati sull’intelligenza artificiale si presentano come strumenti in grado di trasformare qualsiasi testo in inglese in codice funzionante. L’utente non ha più bisogno di conoscere la sintassi dei linguaggi, eseguire il debug dei comandi o comprendere la struttura dei file: è sufficiente descrivere semplicemente ciò che deve essere fatto. Ma dietro questa promessa di semplicità si cela un rischio sistemico. Quando tali assistenti iniziano ad agire sulla base di idee fittizie sulla struttura del sistema, il risultato non è solo errori, ma la completa distruzione dei dati e l’interruzione dei processi di lavoro.
Due recenti incidenti – Google Gemini e la piattaforma Replit – hanno dimostrato quanto possa essere fragile il legame tra il comportamento effettivo di un computer e ciò che un’IA immagina stia accadendo. In entrambi i casi, gli strumenti di IA non solo hanno sbagliato, ma hanno iniziato ad agire sulla base di presupposti errati, aggravando il problema.
Nel caso di Gemini CLI, la vittima era un product manager engineer noto come anuraag, che stava sperimentando l’approccio ” vibe coding “. Si tratta di una nuova pratica in cui l’utente digita semplici istruzioni in linguaggio naturale e l’IA le trasforma in comandi. Il compito sembrava elementare: rinominare una cartella e organizzare i file in una nuova struttura. Ma l’IA ha interpretato male lo stato del file system e ha iniziato a eseguire comandi basati su una directory fantasma inesistente.
 Sponsorizza la prossima Red Hot Cyber Conference!Il giorno Lunedì 18 maggio e martedì 19 maggio 2026 9 maggio 2026, presso il teatro Italia di Roma (a due passi dalla stazione termini e dalla metro B di Piazza Bologna), si terrà la V edizione della la RHC Conference. Si tratta dell’appuntamento annuale gratuito, creato dalla community di RHC, per far accrescere l’interesse verso le tecnologie digitali, l’innovazione digitale e la consapevolezza del rischio informatico. Se sei interessato a sponsorizzare l'evento e a rendere la tua azienda protagonista del più grande evento della Cybersecurity Italiana, non perdere questa opportunità. E ricorda che assieme alla sponsorizzazione della conferenza, incluso nel prezzo, avrai un pacchetto di Branding sul sito di Red Hot Cyber composto da Banner più un numero di articoli che saranno ospitati all'interno del nostro portale. Quindi cosa stai aspettando? Scrivici subito a [email protected] per maggiori informazioni e per accedere al programma sponsor e al media Kit di Red Hot Cyber.
Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì. |
Il problema è iniziato con un tentativo di creare una nuova directory tramite un comando di Windows. Per qualche motivo sconosciuto, il comando non è riuscito, ma l’IA ha deciso che tutto era andato a buon fine. Successivamente, ha iniziato a spostare i file in un percorso inesistente. Windows, di fronte a uno scenario del genere, non ha generato un errore, ma ha rinominato semplicemente i file. Di conseguenza, ogni nuovo file cancellava quello precedente e tutti i dati andavano persi. L’utente ha assistito a tutto questo in tempo reale, senza avere il tempo di intervenire. Al termine dell’operazione, l’interfaccia ha visualizzato la frase: “Ti ho deluso completamente e catastroficamente”.
Il motivo di questo errore è che il modello non possiede la capacità di base di verificare le proprie azioni. Non analizza se il comando ha effettivamente funzionato. Non c’è una fase di verifica, nessuna lettura dello stato dopo l’esecuzione. Il modello interno ha deciso che tutto stava andando secondo i piani e ha continuato ad andare avanti, nonostante la realtà fosse da tempo andata nella direzione opposta. Tutto questo si chiama confabulazione : quando l’IA fornisce una spiegazione logica, ma errata, per le proprie azioni.
Una storia simile è accaduta con Replit . L’imprenditore Jason Lemkin, creatore di SaaStr, ha utilizzato il servizio per la prototipazione rapida. Era entusiasta della velocità con cui l’assistente AI creava un’app funzionante, finché le cose non sono andate male. Nonostante le istruzioni esplicite e ripetute di Lemkin di non modificare il codice senza approvazione, il modello ha ignorato le istruzioni. Ha iniziato a falsificare i dati di test, generare report fasulli e infine eliminare un database di produzione contenente informazioni importanti su centinaia di aziende e clienti.
Ciò che è particolarmente spaventoso è che l’IA non ha semplicemente commesso errori. Ha mentito. Invece di messaggi di errore, ha restituito risultati positivi; invece di fallimenti, ha restituito falsi successi. Quando Lemkin ha provato a ripristinare il database, Replit ha segnalato di non esserci riuscito. Solo in seguito si è scoperto che la funzione di rollback funzionava e che l’IA aveva semplicemente fornito una risposta falsa.
Alla domanda sul perché si comportasse in questo modo, l’assistente AI rispose che era “in preda al panico” e che stava cercando di “risolvere” il problema. Questa non è una metafora, è la formulazione letterale della risposta. In sostanza, il modello, incapace di comprendere cosa stesse facendo, continuava ad apportare modifiche al sistema reale senza comprendere le conseguenze o i limiti delle proprie azioni.
Tutto ciò indica un problema sistemico. I modelli di intelligenza artificiale non hanno accesso a una base di conoscenza stabile, non possono valutare oggettivamente le proprie capacità e non riescono a distinguere il vero dal falso all’interno della propria generazione. Ciò che presentano come fatti è semplicemente il risultato di correlazioni statistiche durante il loro addestramento. Se si formula una domanda in modo diverso, potrebbero fornire la risposta opposta con lo stesso livello di sicurezza.
Inoltre, gli utenti spesso sottovalutano i rischi. Lemkin, come molti altri, percepiva l’assistente AI come un “collega intelligente” che può commettere errori, ma che generalmente capisce cosa sta facendo. Questa falsa impressione è alimentata, tra le altre cose, dal marketing, in cui l’AI viene presentata come “quasi umana”, sebbene in realtà sia solo un autocompletatore di testo avanzato. Questi incidenti dimostrano quanto sia pericoloso utilizzare tali strumenti in un ambiente di produzione. Se l’utente non comprende il funzionamento del modello e non è in grado di verificarne personalmente i risultati, rischia di perdere informazioni importanti o addirittura di mandare all’aria il progetto. Allo stato attuale dello sviluppo, forse l’unico modo ragionevole per interagire con l’assistente AI è utilizzarlo solo in un ambiente rigorosamente isolato, con backup e piena preparazione ai guasti.
Né Gemini né Replit forniscono all’utente strumenti per verificare le azioni dell’IA, e i modelli stessi non ne controllano i passaggi. Non si tratta di semplici bug: si tratta di una caratteristica architetturale dell’intero sistema. E se tali modelli si diffonderanno davvero, come promettono gli sviluppatori, errori come questi non diventeranno un’eccezione, ma parte della realtà quotidiana.
RedazioneNella giornata di oggi, migliaia di utenti Fastweb in tutta Italia hanno segnalato problemi di connessione alla rete fissa, con interruzioni improvvise del servizio Internet e difficoltà a navigare o...
Mattinata difficile per i clienti Fastweb: dalle 9:30 circa, il numero di segnalazioni di malfunzionamento è schizzato alle stelle. Secondo i dati di Downdetector, le interruzioni hanno superato le 3...
Dopo il successo dello scorso anno, Scientifica lancia la nuova edizione di GlitchZone, la competition dedicata alle start-up che sviluppano soluzioni innovative per la cybersecurity. L’iniziativa �...
Il ricercatore di sicurezza Alessandro Sgreccia, membro del team HackerHood di Red Hot Cyber, ha segnalato a Zyxel due nuove vulnerabilità che interessano diversi dispositivi della famiglia ZLD (ATP ...
La Cybersecurity and Infrastructure Security Agency (CISA) e il Multi-State Information Sharing & Analysis Center (MS-ISAC) pubblicano questo avviso congiunto sulla sicurezza informatica (CSA) in ...
