Marcello Politi : 23 Gennaio 2024 06:59
Nel sempre mutevole mondo del Machine Learning, selezionare il modello più efficace per un determinato compito è un impegno non banale, che può richiedere molto tempo. Tradizionalmente, i metodi di valutazione cosi detti offline, come lo split tra dati di training e test o la k-fold cross validation sono quelli più conosciuti e utilizzati dai data scientist. Tuttavia, possono risultare carenti nel considerare cambiameni della distribuzione che possono verificarsi in scenari reali. In poche parole il modello potrebbe essere stato trainato su dei dati che pero non sono simili a quelli reali che il modello deve gestire quando è in produzione. Entra in gioco la valutazione online, un metodo condotto dopo l’implementazione e il deploy, che offre preziosi dettagli sulle prestazioni del modello in un ambiente dinamico.
Il “deployment ombra” comporta il lancio simultaneo di entrambi i modelli, con tutte le richieste dirette a ciascun modello in parallelo. La successiva raccolta di dati consente un’analisi approfondita per identificare il modello che offre le prestazioni migliori. Tuttavia, è essenziale notare che questo approccio comporta uno svantaggio: il costo di inferenza è raddoppiato poiché entrambi i modelli sono interrogati per ciascuna richiesta.
Il test A/B, forse il metodo più comunemente utilizzato, comporta il deployment di entrambi i modelli e la suddivisione casuale del traffico tra di essi. La successiva valutazione viene condotta sui log, utilizzando test di ipotesi statistica per accertare se uno dei modelli supera significativamente l’altro. Questo metodo fornisce un robusto quadro statistico per prendere decisioni informate sulla selezione del modello.
CALL FOR SPONSOR - Sponsorizza l'ottavo episodio della serie Betti-RHC
Sei un'azienda innovativa, che crede nella diffusione di concetti attraverso metodi "non convenzionali"?
Conosci il nostro corso sul cybersecurity awareness a fumetti?
Red Hot Cyber sta ricercando un nuovo sponsor per una nuova puntata del fumetto Betti-RHC mentre il team è impegnato a realizzare 3 nuovi episodi che ci sono stati commissionati.
Contattaci tramite WhatsApp al numero 375 593 1011 per richiedere ulteriori informazioni oppure alla casella di posta [email protected]
Supporta RHC attraverso:
Ti piacciono gli articoli di Red Hot Cyber? Non aspettare oltre, iscriviti alla newsletter settimanale per non perdere nessun articolo.
In situazioni in cui il rilascio di una nuova versione di un modello comporta rischi potenziali, il metodo di rilascio canary offre un approccio graduale e controllato. Invece di reindirizzare casualmente il traffico con una suddivisione del 50% tra i modelli A e B, una piccola parte del traffico viene reindirizzata al nuovo modello (modello canary). Se il modello canary ha prestazioni positive, il reindirizzamento del traffico aumenta gradualmente fino a gestire il 100% del carico.
Per i sistemi in cui l’interazione dell’utente svolge un ruolo fondamentale, come nei sistemi di raccomandazione, gli esperimenti interattivi offrono una straordinaria via per la valutazione del modello. Utilizzando contemporaneamente entrambi i modelli, agli utenti viene chiesto di fornire feedback selezionando la loro preferenza. Questo approccio guidato dall’utente offre preziosi dettagli sulle preferenze degli utenti e sull’efficacia di ciascun modello.
Mentre il test A/B è spesso considerato un approccio senza stato, i meccanismi di tipo bandit introducono una dimensione con stato alla valutazione del modello. Utilizzando algoritmi complessi, questi meccanismi monitorano continuamente le prestazioni di ciascun modello in tempo quasi reale. Questa valutazione continua consente una redistribuzione dinamica del traffico, cercando un equilibrio tra la sperimentazione del nuovo modello e la minimizzazione dell’impatto complessivo sulle prestazioni del sistema.
Nel Machine Learning, la ricerca del modello ottimale coinvolge una serie di metodi di valutazione offline e online. Dallo shadow deployment ai test A/B, dai canary release agli esperimenti interattivi e ai meccanismi bandit, ciascun approccio offre una prospettiva unica. Mentre il panorama dell’apprendimento automatico continua a evolversi, una comprensione articolata di questi metodi di valutazione permette agli operatori del settore di prendere decisioni informate, assicurando il rilascio di modelli robusti che resistono alle sfide degli scenari reali.
Marcello Politi“Combattere il cybercrime è come estirpare le erbacce: se non elimini le radici a fondo, queste ricresceranno” e oggi, più che mai, questa verità si conferma ess...
Immagina di aprire, come ogni sera, il bookmark del tuo forum preferito per scovare nuove varianti di stealer o l’ennesimo pacchetto di credenziali fresche di breach. Invece della solita bachec...
Il 22 luglio 2025, Mozilla ha rilasciato Firefox 141, un aggiornamento volto a migliorare la sicurezza del browser. Nell’ambito del Bollettino MFSA 2025-56, sono state risolte 18 vulnerabilit&#...
Secondo gli esperti di sicurezza informatica, diversi gruppi di hacker cinesi stanno sfruttando una serie di vulnerabilità zero-day in Microsoft SharePoint nei loro attacchi. In particolare, ...
Un attacco informatico di vasta portata ha violato la National Nuclear Security Administration (NNSA) degli Stati Uniti attraverso il software per documenti Sharepoint di Microsoft, ha confermato...
Iscriviti alla newsletter settimanale di Red Hot Cyber per restare sempre aggiornato sulle ultime novità in cybersecurity e tecnologia digitale.
Copyright @ REDHOTCYBER Srl
PIVA 17898011006
