Red Hot Cyber
La cybersecurity è condivisione. Riconosci il rischio, combattilo, condividi le tue esperienze ed incentiva gli altri a fare meglio di te.
Cerca
Red Hot Cyber Academy

Cos’è la Retrieval Augmented Generation

Luca Vinciguerra : 27 Agosto 2024 07:32

Nell’articolo “Perché un Large Language Model (LLM) non è un Database?”, abbiamo esplorato la natura di questa tecnologia, chiarendo come dovrebbe essere utilizzata e, soprattutto, quali sono i suoi limiti. Tra questi, il più significativo è la limitazione della conoscenza del modello a un determinato periodo di tempo, definito dai dati di addestramento (Cutoff Knowledge). Questo comporta il rischio di ricevere risposte obsolete o, in alcuni casi, apparentemente coerenti ma fattualmente errate (le cosiddette allucinazioni).

Una tecnica emergente che consente di superare questi limiti è la Retrieval-Augmented Generation (RAG). La RAG rappresenta un avanzamento significativo nel campo del Natural Language Processing (NLP), combinando le capacità di generazione di linguaggio naturale con quelle di recupero di informazioni. Questa tecnica è particolarmente rilevante in applicazioni che richiedono una comprensione profonda e contestuale del linguaggio e la distribuzione di informazioni affidabili. La RAG si distingue per la sua capacità di migliorare la generazione di testi, incorporando informazioni aggiornate e pertinenti direttamente da database o altre fonti di dati esterne.

A che cosa serve

Nei sistemi di generazione del testo basati su LLM, uno dei principali limiti è la dipendenza esclusiva dal modello generativo, che è vincolato alla conoscenza acquisita durante l’addestramento. Immaginiamo che una grande testata giornalistica voglia mettere a disposizione dei propri lettori un chatbot che fornisce informazioni sugli ultimi eventi relativi, per esempio, alla guerra in Ucraina. Per poter abilitare un LLM a rispondere su fatti di attualità è necessario permettergli di accedere a tali informazioni.

Prompt Engineering & Sicurezza: diventa l’esperto che guida l’AI

Vuoi dominare l’AI generativa e usarla in modo sicuro e professionale? Con il Corso Prompt Engineering: dalle basi alla cybersecurity, guidato da Luca Vinciguerra, data scientist ed esperto di sicurezza informatica, impari a creare prompt efficaci, ottimizzare i modelli linguistici e difenderti dai rischi legati all’intelligenza artificiale. Un percorso pratico e subito spendibile per distinguerti nel mondo del lavoro.
Non restare indietro: investi oggi nelle tue competenze e porta il tuo profilo professionale a un nuovo livello.
Guarda subito l'anteprima gratuita del corso su academy.redhotcyber.com
Contattaci per ulteriori informazioni tramite WhatsApp al 375 593 1011 oppure scrivi a [email protected]



Supporta RHC attraverso:
 

  1. L'acquisto del fumetto sul Cybersecurity Awareness
  2. Ascoltando i nostri Podcast
  3. Seguendo RHC su WhatsApp
  4. Seguendo RHC su Telegram
  5. Scarica gratuitamente “Byte The Silence”, il fumetto sul Cyberbullismo di Red Hot Cyber

Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì.
 

Solitamente le opzioni disponibili sono:

  1. nuovo training completo del modello su una massa consistente di dati aggiornati.
  2. un fine-tuning del modello utilizzando i dati di interesse.
  3. inserire i nuovi dati nel prompt che inviamo al modello.

Le opzioni 1 e 2 sono da scartare in quanto le informazioni che deve fornire il chatbot cambiano ogni giorno. Inoltre, sono operazioni altamente costose e complesse ed è bene sottolineare che training e fine-tuning sono tecniche di addestramento mirate a migliorare la performance del modello nella comprensione e generazione del testo. L’accrescimento della base di conoscenza del modello è solo un effetto collaterale.

Invece, l’opzione 3 potrebbe risolvere il nostro problema, ma dobbiamo considerare il limite superiore della lunghezza della finestra di contesto del modello (in poche parole la lunghezza massima del testo che possiamo fornire in input al modello). Infatti, dovremmo sottomettere al Large Language Model un prompt di lunghezza crescente nel tempo che potrebbe eccedere la lunghezza massima accettata dal modello che abbiamo scelto di utilizzare. Per non parlare poi dei costi di elaborazione di input testuali molto lunghi che, se proiettati su tutti i lettori, diverrebbero altamente significativi.

Come funziona

La metodologia RAG affronta questo problema in modo intelligente integrando un sistema di recupero delle informazioni che fornisce al modello generativo dati aggiornati e rilevanti, limitando così i costi e la lunghezza dell’input testuale inviato. 

In pratica, quando un sistema RAG riceve una richiesta dall’utente (user query), il primo passo consiste nel recuperare documenti pertinenti da un database su cui sono stati indicizzati i testi d’interesse; successivamente, questi documenti recuperati (solitamente sono pochi chunk di testo) vengono utilizzati come input per generare una risposta. Questo approccio migliora significativamente l’accuratezza, la pertinenza e la varietà delle risposte, poiché il modello non è più limitato alla conoscenza statica acquisita durante l’addestramento, ma può attingere a informazioni aggiornate e contestualizzate.

Per poter utilizzare un sistema RAG il primo passo è quello di indicizzare i documenti d’interesse in un database vettoriale. Nello specifico, il processo è il seguente:

  1. Ogni documento viene suddiviso in piccole porzioni di testo (chunk) preservando il più possibile la semantica del contenuto.
  2. Per ogni chunk di testo si genera il relativo vettore di embedding tramite l’applicazione di un apposito modello (BERT, GPT, T5, ecc).
  3. Sono memorizzati nel database, per ogni chunk di testo, il contenuto testuale e la sua rappresentazione vettoriale.

La RAG, a questo punto, combina due componenti principali: un sistema di recupero (retriever) e un modello di generazione (generator).

  1. Retriever: Supponendo di aver indicizzato i dati d’interesse in un database vettoriale come descritto sopra, il primo step è il recupero delle informazioni. Data una user query, questa viene trasformata nella sua rappresentazione vettoriale tramite l’uso dello stesso modello di embedding utilizzato per indicizzare la nuova base di conoscenza del database. Il retriever cerca i dati più pertinenti alla user query mediante l’utilizzo della ricerca vettoriale, ovvero ricerca tutti quei chunk di testo che massimizzano la similarità del coseno rispetto alla user query.
  2. Generator: Una volta recuperati i documenti pertinenti, il modello di generazione entra in gioco. Questo componente prende la query originale e i documenti recuperati come input e genera una risposta che combina le informazioni provenienti sia dalla conoscenza pre-addestrata del modello che dai documenti recuperati. Un aspetto cruciale della RAG è che i documenti recuperati non vengono semplicemente “incollati” nella risposta; piuttosto, vengono utilizzati come contesto per guidare la generazione della risposta, arricchendola con dettagli specifici e accurati.

Un tipico esempio di prompt da inviare al modello generativo che comprende sia la user query che i documenti più pertinenti è:

Genera una risposta alla seguente richiesta utente
USER_QUERY
utilizzando i seguenti documenti come knowledge base
RETRIEVED_DOCUMENTS

Conclusioni

L’approccio RAG offre numerosi vantaggi rispetto ai modelli generativi tradizionali. Oltre a fornire risposte più accurate e aggiornate, la tecnologia RAG permette un adattamento a nuovi domini di conoscenza con maggiore rapidità, riducendo la necessità di un costante riaddestramento del modello generativo. Tuttavia, è importante notare che l’efficacia della RAG dipende dalla qualità e dalla pertinenza delle informazioni disponibili nel sistema di recupero. Inoltre, la complessità computazionale di questo approccio può essere maggiore rispetto ai modelli generativi puri, richiedendo risorse più significative in termini di calcolo e memoria.

Luca Vinciguerra
Machine Learning Engineer specializzato nel Natural Language Processing. Appassionato di Intelligenza Artificiale, Coding e tecnologia in generale. Aspetta l'avvento di Skynet.

Lista degli articoli

Articoli in evidenza

Due bug critici in Cisco ASA e FTD: score 9.9 e rischio esecuzione di codice remoto
Di Redazione RHC - 25/09/2025

Cisco ha reso note due vulnerabilità critiche che interessano i propri firewall Secure Firewall Adaptive Security Appliance (ASA) e Secure Firewall Threat Defense (FTD), oltre ad altri prodotti di re...

Linux balla la samba… ma cade in una race condition. Una falla critica minaccia il kernel
Di Redazione RHC - 25/09/2025

Il ricercatore Nicholas Zubrisky di Trend Research ha segnalato una vulnerabilità critica nel componente ksmbd del kernel Linux che consente ad aggressori remoti di eseguire codice arbitrario con i m...

Criptovalute, ransomware e hamburger: la combo fatale per Scattered Spider
Di Redazione RHC - 25/09/2025

Il Dipartimento di Giustizia degli Stati Uniti e la polizia britannica hanno incriminato Talha Jubair, 19 anni, residente nell’East London, che gli investigatori ritengono essere un membro chiave di...

Rilevate vulnerabilità Zero-Day in Cisco IOS e IOS XE: Aggiornamenti Urgenti
Di Redazione RHC - 25/09/2025

Una vulnerabilità zero-day, monitorata con il CVE-2025-20352, è stata resa pubblica da Cisco nei suoi diffusissimi software IOS e IOS XE; tale vulnerabilità risulta essere sfruttata attivamente. L�...

Esce Kali Linux 2025.3! Nuova release con miglioramenti e nuovi strumenti
Di Redazione RHC - 24/09/2025

Gli sviluppatori di Kali Linux hanno rilasciato una nuova release, la 2025.3, che amplia le funzionalità della distribuzione e aggiunge dieci nuovi strumenti di penetration testing. L’aggiornamento...