Simone Raponi : 11 Agosto 2023 22:22
Benvenuti al terzo articolo della nostra serie dedicata alle reti neurali ricorrenti (RNN). Dopo aver introdotto le Recurrent Neural Networks e la loro architettura, rispettivamente nel primo e nel secondo articolo, in questo articolo affronteremo un problema comune che le affligge: la temibile scomparsa del gradiente.
Per comprendere pienamente il problema della scomparsa del gradiente, dobbiamo prima discutere di come le Recurrent Neural Networks vengono addestrate. Come altre reti neurali, le RNN utilizzano un algoritmo chiamato backpropagation per aggiornare i loro pesi. Abbiamo brevemente descritto il funzionamento dell’algoritmo di backpropagation nell’ambito delle Convolutional Neural Networks in un precedente articolo. Nell’ambito delle Recurrent Neural Networks, questa tecnica è spesso chiamata “backpropagation through time” (BPTT), perché l’algoritmo “ripercorre” la sequenza temporale per aggiornare i pesi, come se tornasse indietro nel tempo!
Durante la backpropagation through time, vengono calcolati i gradienti dei pesi. Il gradiente rappresenta la direzione e l’intensità del cambiamento necessario per migliorare la performance della rete. Questi gradienti sono utilizzati per aggiornare i pesi della rete in modo che la funzione di errore (o di perdita) sia minimizzata.
Scarica Gratuitamente Byte The Silence, il fumetto sul Cyberbullismo di Red Hot Cyber
«Il cyberbullismo è una delle minacce più insidiose e silenziose che colpiscono i nostri ragazzi. Non si tratta di semplici "bravate online", ma di veri e propri atti di violenza digitale, capaci di lasciare ferite profonde e spesso irreversibili nell’animo delle vittime. Non possiamo più permetterci di chiudere gli occhi».
Così si apre la prefazione del fumetto di Massimiliano Brolli, fondatore di Red Hot Cyber, un’opera che affronta con sensibilità e realismo uno dei temi più urgenti della nostra epoca.
Distribuito gratuitamente, questo fumetto nasce con l'obiettivo di sensibilizzare e informare. È uno strumento pensato per scuole, insegnanti, genitori e vittime, ma anche per chi, per qualsiasi ragione, si è ritrovato nel ruolo del bullo, affinché possa comprendere, riflettere e cambiare.
Con la speranza che venga letto, condiviso e discusso, Red Hot Cyber è orgogliosa di offrire un contributo concreto per costruire una cultura digitale più consapevole, empatica e sicura.
Contattaci tramite WhatsApp al numero 375 593 1011 per richiedere ulteriori informazioni oppure alla casella di posta [email protected]
Supporta RHC attraverso:
Ti piacciono gli articoli di Red Hot Cyber? Non aspettare oltre, iscriviti alla newsletter settimanale per non perdere nessun articolo.
Il problema della scomparsa del gradiente si verifica quando i gradienti calcolati durante la backpropagation diventano molto piccoli. Quando il gradiente è vicino a zero, l’aggiornamento dei pesi durante il training è quasi inesistente, il che significa che la rete smette di apprendere o impiega molto tempo per farlo.
Questo problema è particolarmente grave nelle RNN a causa della loro natura sequenziale. Quando una RNN viene addestrata su lunghe sequenze di dati, l’informazione deve essere “trasportata” per molti passaggi temporali attraverso la backpropagation. Ma se i gradienti diventano troppo piccoli, l’informazione può “scomparire” prima di raggiungere i passaggi temporali iniziali.
La scomparsa del gradiente nelle RNN è legata alla funzione di attivazione utilizzata nei neuroni e al modo in cui i gradienti vengono calcolati durante la backpropagation.
Nelle RNN, la funzione di attivazione più comunemente utilizzata è la tangente iperbolica (tanh). Questa funzione ha un range di -1 a 1, e la sua derivata (che è utilizzata per calcolare i gradienti) è massima a 0 e si avvicina a 0 per valori di input lontani da 0.
Durante la backpropagation, i gradienti vengono calcolati moltiplicando la derivata della funzione di attivazione per il gradiente del passo temporale successivo. Se il valore della derivata della funzione di attivazione è basso, allora il valore del gradiente calcolato sarà anch’esso basso. E se questa operazione viene ripetuta per molti passaggi temporali (come in una lunga sequenza), i gradienti possono diventare estremamente piccoli, dando luogo al problema della scomparsa del gradiente.
Il problema della scomparsa del gradiente nelle RNN è noto da tempo, e sono state proposte diverse soluzioni. Le due soluzioni più comuni sono l’uso di altre funzioni di attivazione e l’uso di architetture di RNN modificate.
Invece di utilizzare la funzione di attivazione tanh, alcune RNN utilizzano la funzione ReLU (Rectified Linear Unit). La ReLU ha una derivata che è sempre 1 per input positivi, il che aiuta a mitigare la scomparsa del gradiente. Tuttavia, la ReLU ha anche dei problemi, come il fatto che la sua derivata è 0 per input negativi, il che può portare al “dormiveglia dei neuroni” (un problema in cui alcuni neuroni nella rete cessano di contribuire all’apprendimento).
Un’altra soluzione è l’uso di architetture di RNN modificate, come le Long Short-Term Memory (LSTM) e le Gated Recurrent Unit (GRU). Queste architetture introducono dei “gate” che controllano il flusso di informazioni attraverso la rete. Questi gate aiutano a mitigare sia il problema della scomparsa del gradiente che il problema correlato dell’esplosione del gradiente. Esploreremo queste architetture più in dettaglio nel prossimo articolo.
La scomparsa del gradiente è un problema significativo che rende difficile l’addestramento delle RNN su lunghe sequenze. Tuttavia, grazie alla ricerca e agli sforzi di sviluppo continuo nel campo del deep learning, esistono soluzioni che possono mitigare questo problema.
Nel prossimo articolo della nostra serie, esploreremo in dettaglio due di queste soluzioni: le Long Short-Term Memory (LSTM) e le Gated Recurrent Unit (GRU). Queste architetture avanzate hanno rivoluzionato l’uso delle RNN, rendendo possibile l’apprendimento su sequenze di dati molto più lunghe e complesse.
Se siete interessati a saperne di più sul problema della scomparsa del gradiente e sulle soluzioni proposte, consigliamo le seguenti risorse:
Simone RaponiNel corso di un’operazione internazionale coordinata, denominata “Operation Checkmate”, le forze dell’ordine hanno sferrato un duro colpo al gruppo ransomware BlackSuit (qu...
Il Dipartimento di Giustizia degli Stati Uniti ha segnalato lo smantellamento di quattro piattaforme darknet utilizzate per la distribuzione di materiale pedopornografico. Contemporaneamente, un dicio...
“Combattere il cybercrime è come estirpare le erbacce: se non elimini le radici a fondo, queste ricresceranno” e oggi, più che mai, questa verità si conferma ess...
Immagina di aprire, come ogni sera, il bookmark del tuo forum preferito per scovare nuove varianti di stealer o l’ennesimo pacchetto di credenziali fresche di breach. Invece della solita bachec...
Il 22 luglio 2025, Mozilla ha rilasciato Firefox 141, un aggiornamento volto a migliorare la sicurezza del browser. Nell’ambito del Bollettino MFSA 2025-56, sono state risolte 18 vulnerabilit&#...
Iscriviti alla newsletter settimanale di Red Hot Cyber per restare sempre aggiornato sulle ultime novità in cybersecurity e tecnologia digitale.
Copyright @ REDHOTCYBER Srl
PIVA 17898011006
