Nanochat: crea il tuo LLM, addestralo e rendilo funzionante sul tuo PC con 100 dollari

Redazione RHC : 14 Ottobre 2025 09:22

Lo sviluppatore Andrej Karpathy ha presentato nanochat, una versione minimalista e completamente open source di ChatGPT che può essere addestrata ed eseguita su un solo computer. Progettato come piattaforma di apprendimento per il corso LLM101n di Eureka Labs, il progetto consente agli utenti di costruire il proprio modello linguistico “da zero all’interfaccia web” senza dipendenze ingombranti o infrastrutture complesse.

L’obiettivo di nanochat è dimostrare che un analogo base di ChatGPT può essere costruito in poche ore e per circa cento dollari. Lo script speedrun.sh esegue automaticamente tutti i passaggi, dalla tokenizzazione e dall’addestramento all’inferenza e al lancio di un’interfaccia web che può essere utilizzata per comunicare, proprio come ChatGPT.

Su un nodo con otto GPU NVIDIA H100, l’intero processo richiede circa quattro ore e costa 100 dollari (a 24 dollari all’ora). Una volta completato l’addestramento, è possibile aprire un server locale e porre al modello qualsiasi domanda, dalla poesia a domande fisiche come “perché il cielo è blu?”

Cybersecurity Awareness per la tua azienda? Scopri BETTI RHC! Sei un'azienda innovativa, che crede nella diffusione di concetti attraverso metodi "non convenzionali"?  Red hot cyber ha sviluppato da diversi anni una Graphic Novel, l'unica nel suo genere nel mondo, che consente di formare i dipendenti sulla sicurezza informatica attraverso la lettura di un fumetto. Scopri di più sul corso a fumetti di Red Hot Cyber. Contattaci tramite WhatsApp al numero 375 593 1011 per richiedere ulteriori informazioni oppure alla casella di posta [email protected] Supporta Red Hot Cyber attraverso:  L'acquisto del fumetto sul Cybersecurity Awareness Ascoltando i nostri Podcast Seguendo RHC su WhatsApp Seguendo RHC su Telegram Scarica gratuitamente “Byte The Silence”, il fumetto sul Cyberbullismo di Red Hot Cyber Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì.

Il progetto genera un report dettagliato (report.md) con parametri di training e risultati comparativi tra benchmark popolari, tra cui ARC, GSM8K, MMLU e HumanEval. Sebbene si tratti ancora di un livello di potenza “da scuola materna” rispetto ai LLM industriali, nanochat dimostra l’intero ciclo funzionale di un modello moderno, inclusi interfaccia, valutazione ed esperienza utente.

Karpathy sottolinea che sono in fase di sviluppo versioni più grandi, con prezzi di 300 e 1.000 dollari, che avvicineranno l’algoritmo ai livelli GPT-2. Il codice è ottimizzato per semplicità e trasparenza: niente configurazioni complesse, fabbriche di modelli o centinaia di parametri. Tutto è costruito attorno a un’unica base di codice coesa, facile da leggere, modificare ed eseguire.

NanoChat può essere eseguito anche su una singola scheda grafica, sebbene sia otto volte più lento rispetto a una 8×H100. Per GPU limitate, è sufficiente ridurre le dimensioni del batch per evitare di esaurire la memoria. Il progetto è interamente basato su PyTorch e dovrebbe funzionare sulla maggior parte delle piattaforme supportate.

Il ricercatore nel documento sottolinea che nanochat non è solo una demo, ma un benchmark di base, accessibile e riproducibile per studiare l’architettura di modelli linguistici di grandi dimensioni. Il suo design minimalista e open source lo rende adatto sia a studenti che a ricercatori che desiderano comprendere la struttura del moderno ChatGPT “in miniatura”.

Redazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.

Lista degli articoli