Red Hot Cyber
La cybersecurity è condivisione. Riconosci il rischio, combattilo, condividi le tue esperienze ed incentiva gli altri a fare meglio di te.
Cerca
Red Hot Cyber Academy

Intelligenza artificiale: Scopriamo cosa si intende per Training Set, Validation Set e Test Set

Simone Raponi : 25 Luglio 2023 10:15

Oggi parliamo di tre protagonisti fondamentali nel machine learning: i set di training, validation e test. Se avete mai avuto a che fare con il machine learning, vi sarete sicuramente imbattuti in questi termini.

Ma cosa significano e, soprattutto, perché sono così importanti? Ecco a voi una guida semplice e diretta.

Cos’è un Set di Training?

Il training set è dove tutto inizia. Questo set di dati viene utilizzato per addestrare il modello di machine learning, come suggerisce il nome. È il terreno di gioco principale per il nostro modello, dove apprende le regole del gioco.

Vuoi diventare un esperto del Dark Web e della Cyber Threat Intelligence (CTI)?
Stiamo per avviare il corso intermedio in modalità "Live Class", previsto per febbraio.
A differenza dei corsi in e-learning, disponibili online sulla nostra piattaforma con lezioni pre-registrate, i corsi in Live Class offrono un’esperienza formativa interattiva e coinvolgente.
Condotti dal professor Pietro Melillo, le lezioni si svolgono online in tempo reale, permettendo ai partecipanti di interagire direttamente con il docente e approfondire i contenuti in modo personalizzato. Questi corsi, ideali per aziende, consentono di sviluppare competenze mirate, affrontare casi pratici e personalizzare il percorso formativo in base alle esigenze specifiche del team, garantendo un apprendimento efficace e immediatamente applicabile.
Per ulteriori informazioni, scrivici ad [email protected] oppure scrivici su Whatsapp al 379 163 8765 

Supporta RHC attraverso:


Ti piacciono gli articoli di Red Hot Cyber? Non aspettare oltre, iscriviti alla newsletter settimanale per non perdere nessun articolo.

Pensa al training set come il libro di testo per un esame. Lo studi a fondo, comprendi i concetti, memorizzi i dettagli.

Cos’è un Set di Validation?

Il validation set è il secondo passo nel processo. Viene utilizzato per sintonizzare il modello e per evitare l’overfitting, che è quando un modello impara i dati di addestramento “a memoria”, rendendo il modello incapace di generalizzare bene su nuovi dati.

Puoi pensare al validation set come a un set di quiz basati sul tuo libro di testo. Testi quanto hai imparato e correggi il tuo metodo di studio in base ai risultati.

Cos’è un Set di Test?

Il test set è l’ultimo passo nel processo di addestramento. Viene utilizzato per valutare quanto bene il modello può generalizzare su dati mai visti prima. È come l’esame finale: non hai mai visto le domande prima, e il tuo punteggio riflette quanto bene hai compreso il materiale, non solo quanto bene lo hai memorizzato.

Una nota importante è che il test set dovrebbe rappresentare il più possibile la distribuzione dei dati che il modello incontrerà nel mondo reale. Questo significa che se il tuo modello dovrà fare previsioni su dati reali con caratteristiche particolari, il tuo set di test dovrebbe riflettere queste caratteristiche il più possibile.

Perché questa divisione?

L’obiettivo di dividere i dati in questi tre set è di prevenire l’overfitting e stimare l’abilità del modello di generalizzare su dati nuovi e non visti.

L’addestramento solo su set di training e validation non ci dà la certezza che il nostro modello generalizzerà bene su dati reali. Ecco perché il test set è così importante. Ci permette di avere un’idea più precisa di come il modello si comporterà quando lo implementeremo nel mondo reale.

Ma attenzione, il test set può darci un’indicazione, ma ancora non ci dice tutto. La performance del modello nei confronti dei business objectives, i risultati reali che vogliamo raggiungere, può essere influenzata da molti altri fattori. Ad esempio, le condizioni del mondo reale possono cambiare in modo imprevedibile rispetto a quelle dei nostri dati di test.

Conclusioni

In conclusione, i set di training, validation e test sono strumenti fondamentali nel processo di machine learning. Ricorda sempre di utilizzare tutti e tre per massimizzare le possibilità di successo del tuo modello!

Ma un modello ben addestrato non è sufficiente. È fondamentale monitorare costantemente le sue performance e adattarlo alle mutevoli condizioni del mondo reale. Solo così si può sperare di avvicinarsi al raggiungimento degli obiettivi di business.

Ricorda che la tua maratona di machine learning non finisce con un risultato decente su un test set. Il mondo reale è pieno di cambiamenti imprevisti e il tuo modello deve essere in grado di adattarsi per poter continuare ad essere rilevante nelle predizioni.

Simone Raponi
Esperto in machine learning e sicurezza informatica. Ha un dottorato in Computer Science and Engineering, durante il quale ha sviluppato modelli di intelligenza artificiale per rilevare pattern correlati alla cybersecurity. Durante la sua carriera accademica ha ricevuto diversi riconoscimenti ed ha pubblicato numerosi articoli scientifici divenuti popolari nell'ambito. Ex Machine Learning Scientist alla NATO, attualmente lavora come AI/ML Cybersecurity Engineer per una startup, dove impiega quotidianamente algoritmi di AI per affrontare e risolvere complesse sfide nel campo dell'automazione della sicurezza informatica.

Lista degli articoli

Articoli in evidenza

Bypass di Microsoft Defender mediante Defendnot: Analisi Tecnica e Strategie di Mitigazione

Nel panorama delle minacce odierne, Defendnot rappresenta un sofisticato malware in grado di disattivare Microsoft Defender sfruttando esclusivamente meccanismi legittimi di Windows. A differenza di a...

Falso Mito: Se uso una VPN, sono completamente al sicuro anche su reti WiFi Aperte e non sicure

Molti credono che l’utilizzo di una VPN garantisca una protezione totale durante la navigazione, anche su reti WiFi totalmente aperte e non sicure. Sebbene le VPN siano strumenti efficaci per c...

In Cina il CNVD premia i migliori ricercatori di sicurezza e la collaborazione tra istituzioni e aziende

Durante una conferenza nazionale dedicata alla sicurezza informatica, sono stati ufficialmente premiati enti, aziende e professionisti che nel 2024 hanno dato un contributo significativo al National I...

Quando l’MFA non basta! Abbiamo Violato il Login Multi-Fattore Per Capire Come Difenderci Meglio

Nel mondo della cybersecurity esiste una verità scomoda quanto inevitabile: per difendere davvero qualcosa, bisogna sapere come violarlo. L’autenticazione multi-fattore è una delle co...

Grave Falla RCE in Remote Desktop Gateway (RD Gateway). Aggiornare Subito

Una vulnerabilità critica nel Remote Desktop Gateway (RD Gateway) di Microsoft che potrebbe consentire agli aggressori di eseguire codice dannoso sui sistemi interessati da remoto. Il difetto, &#...