Red Hot Cyber
Condividi la tua difesa. Incoraggia l'eccellenza. La vera forza della cybersecurity risiede nell'effetto moltiplicatore della conoscenza.
Cerca
LECS 970x120 1
Banner Ransomfeed 320x100 1
Problemi delle Recurrent Neural Networks: Scomparsa del Gradiente

Problemi delle Recurrent Neural Networks: Scomparsa del Gradiente

Simone Raponi : 11 Agosto 2023 22:22

Benvenuti al terzo articolo della nostra serie dedicata alle reti neurali ricorrenti (RNN). Dopo aver introdotto le Recurrent Neural Networks e la loro architettura, rispettivamente nel primo e nel secondo articolo, in questo articolo affronteremo un problema comune che le affligge: la temibile scomparsa del gradiente.

Che cos’è la scomparsa del gradiente?

Per comprendere pienamente il problema della scomparsa del gradiente, dobbiamo prima discutere di come le Recurrent Neural Networks vengono addestrate. Come altre reti neurali, le RNN utilizzano un algoritmo chiamato backpropagation per aggiornare i loro pesi. Abbiamo brevemente descritto il funzionamento dell’algoritmo di backpropagation nell’ambito delle Convolutional Neural Networks in un precedente articolo. Nell’ambito delle Recurrent Neural Networks, questa tecnica è spesso chiamata “backpropagation through time” (BPTT), perché l’algoritmo “ripercorre” la sequenza temporale per aggiornare i pesi, come se tornasse indietro nel tempo!

Durante la backpropagation through time, vengono calcolati i gradienti dei pesi. Il gradiente rappresenta la direzione e l’intensità del cambiamento necessario per migliorare la performance della rete. Questi gradienti sono utilizzati per aggiornare i pesi della rete in modo che la funzione di errore (o di perdita) sia minimizzata.


Rhc Conference Sponsor Program 2

Sponsorizza la prossima Red Hot Cyber Conference!

Il giorno Lunedì 18 maggio e martedì 19 maggio 2026 9 maggio 2026, presso il teatro Italia di Roma (a due passi dalla stazione termini e dalla metro B di Piazza Bologna), si terrà la V edizione della la RHC Conference
Si tratta dell’appuntamento annuale gratuito, creato dalla community di RHC, per far accrescere l’interesse verso le tecnologie digitali, l’innovazione digitale e la consapevolezza del rischio informatico. 
Se sei interessato a sponsorizzare l'evento e a rendere la tua azienda protagonista del più grande evento della Cybersecurity Italiana, non perdere questa opportunità. E ricorda che assieme alla sponsorizzazione della conferenza, incluso nel prezzo, avrai un pacchetto di Branding sul sito di Red Hot Cyber composto da Banner più un numero di articoli che saranno ospitati all'interno del nostro portale. 
Quindi cosa stai aspettando? Scrivici subito a [email protected] per maggiori informazioni e per accedere al programma sponsor e al media Kit di Red Hot Cyber.


Supporta Red Hot Cyber attraverso: 

  1. L'acquisto del fumetto sul Cybersecurity Awareness
  2. Ascoltando i nostri Podcast
  3. Seguendo RHC su WhatsApp
  4. Seguendo RHC su Telegram
  5. Scarica gratuitamente “Byte The Silence”, il fumetto sul Cyberbullismo di Red Hot Cyber

Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì.

Il problema della scomparsa del gradiente si verifica quando i gradienti calcolati durante la backpropagation diventano molto piccoli. Quando il gradiente è vicino a zero, l’aggiornamento dei pesi durante il training è quasi inesistente, il che significa che la rete smette di apprendere o impiega molto tempo per farlo.

Questo problema è particolarmente grave nelle RNN a causa della loro natura sequenziale. Quando una RNN viene addestrata su lunghe sequenze di dati, l’informazione deve essere “trasportata” per molti passaggi temporali attraverso la backpropagation. Ma se i gradienti diventano troppo piccoli, l’informazione può “scomparire” prima di raggiungere i passaggi temporali iniziali.

Perché si verifica la scomparsa del gradiente?

La scomparsa del gradiente nelle RNN è legata alla funzione di attivazione utilizzata nei neuroni e al modo in cui i gradienti vengono calcolati durante la backpropagation.

Nelle RNN, la funzione di attivazione più comunemente utilizzata è la tangente iperbolica (tanh). Questa funzione ha un range di -1 a 1, e la sua derivata (che è utilizzata per calcolare i gradienti) è massima a 0 e si avvicina a 0 per valori di input lontani da 0.

Durante la backpropagation, i gradienti vengono calcolati moltiplicando la derivata della funzione di attivazione per il gradiente del passo temporale successivo. Se il valore della derivata della funzione di attivazione è basso, allora il valore del gradiente calcolato sarà anch’esso basso. E se questa operazione viene ripetuta per molti passaggi temporali (come in una lunga sequenza), i gradienti possono diventare estremamente piccoli, dando luogo al problema della scomparsa del gradiente.

Soluzioni al problema della scomparsa del gradiente

Il problema della scomparsa del gradiente nelle RNN è noto da tempo, e sono state proposte diverse soluzioni. Le due soluzioni più comuni sono l’uso di altre funzioni di attivazione e l’uso di architetture di RNN modificate.

Invece di utilizzare la funzione di attivazione tanh, alcune RNN utilizzano la funzione ReLU (Rectified Linear Unit). La ReLU ha una derivata che è sempre 1 per input positivi, il che aiuta a mitigare la scomparsa del gradiente. Tuttavia, la ReLU ha anche dei problemi, come il fatto che la sua derivata è 0 per input negativi, il che può portare al “dormiveglia dei neuroni” (un problema in cui alcuni neuroni nella rete cessano di contribuire all’apprendimento).

Un’altra soluzione è l’uso di architetture di RNN modificate, come le Long Short-Term Memory (LSTM) e le Gated Recurrent Unit (GRU). Queste architetture introducono dei “gate” che controllano il flusso di informazioni attraverso la rete. Questi gate aiutano a mitigare sia il problema della scomparsa del gradiente che il problema correlato dell’esplosione del gradiente. Esploreremo queste architetture più in dettaglio nel prossimo articolo.

Conclusioni

La scomparsa del gradiente è un problema significativo che rende difficile l’addestramento delle RNN su lunghe sequenze. Tuttavia, grazie alla ricerca e agli sforzi di sviluppo continuo nel campo del deep learning, esistono soluzioni che possono mitigare questo problema.

Nel prossimo articolo della nostra serie, esploreremo in dettaglio due di queste soluzioni: le Long Short-Term Memory (LSTM) e le Gated Recurrent Unit (GRU). Queste architetture avanzate hanno rivoluzionato l’uso delle RNN, rendendo possibile l’apprendimento su sequenze di dati molto più lunghe e complesse.

Riferimenti e Approfondimenti

Se siete interessati a saperne di più sul problema della scomparsa del gradiente e sulle soluzioni proposte, consigliamo le seguenti risorse:

  1. Understanding LSTM Networks: Un post del blog di Christopher Olah che spiega il funzionamento delle LSTM, una soluzione comune al problema della scomparsa del gradiente.
  2. Vanishing gradients & LSTMs: Un articolo di Anish Singh che discute il problema della scomparsa del gradiente e l’approccio delle LSTM.
  3. Deep Learning Book – Chapter 10: Un capitolo del libro “Deep Learning” di Ian Goodfellow, Yoshua Bengio e Aaron Courville, che offre una discussione tecnica sulle RNN, la scomparsa del gradiente e le soluzioni proposte.

Immagine del sitoSimone Raponi
Esperto in machine learning e sicurezza informatica. Ha un dottorato in Computer Science and Engineering, durante il quale ha sviluppato modelli di intelligenza artificiale per rilevare pattern correlati alla cybersecurity. Durante la sua carriera accademica ha ricevuto diversi riconoscimenti ed ha pubblicato numerosi articoli scientifici divenuti popolari nell'ambito. Ex Machine Learning Scientist alla NATO, attualmente lavora come AI/ML Cybersecurity Engineer per una startup, dove impiega quotidianamente algoritmi di AI per affrontare e risolvere complesse sfide nel campo dell'automazione della sicurezza informatica.

Lista degli articoli

Articoli in evidenza

Immagine del sito
Quale sarà l’e-commerce italiano basato su Magento che presto sarà violato?
Di Redazione RHC - 28/10/2025

Un nuovo post sul dark web mette in vendita l’accesso amministrativo a un negozio online italiano basato su Magento. Prezzo: 200 dollari. Clienti e ordini in chiaro, e un rischio enorme per la sicur...

Immagine del sito
Microsoft Teams farà la spia al tuo capo quando non sei in ufficio! A dicembre il deploy del tracciamento della posizione
Di Redazione RHC - 27/10/2025

Microsoft Teams riceverà un aggiornamento a dicembre 2025 che consentirà di monitorare la posizione dei dipendenti tramite la rete Wi-Fi dell’ufficio. Secondo la roadmap di Microsoft 365 , “quan...

Immagine del sito
Mentre Papa Francesco è Vivo e continua il suo ministero, la disinformazione Galoppa
Di Redazione RHC - 26/10/2025

Un’indagine condotta dall’Unione Europea di Radiodiffusione (EBU), con il supporto della BBC, ha messo in luce che i chatbot più popolari tendono a distorcere le notizie, modificandone il senso, ...

Immagine del sito
BreachForums rinasce ancora dopo l’ennesima chiusura dell’FBI
Di Redazione RHC - 26/10/2025

Spesso abbiamo citato questa frase: “Combattere il cybercrime è come estirpare le erbacce: se non le estirpi completamente rinasceranno, molto più vigorose di prima” e mai come ora risulta esser...

Immagine del sito
Blackout internet di 3 giorni a Caponago: una volpe ha morso e distrutto la fibra ottica
Di Redazione RHC - 25/10/2025

Per tre giorni consecutivi, dal 19 al 22 ottobre, il Comune di Caponago è rimasto isolato dal web a causa di un insolito incidente: una volpe è finita in un pozzetto della rete telefonica, danneggia...