Nanochat: crea il tuo LLM, addestralo e rendilo funzionante sul tuo PC con 100 dollari

Lo sviluppatore Andrej Karpathy ha presentato nanochat, una versione minimalista e completamente open source di ChatGPT che può essere addestrata ed eseguita su un solo computer. Progettato come piattaforma di apprendimento per il corso LLM101n di Eureka Labs, il progetto consente agli utenti di costruire il proprio modello linguistico “da zero all’interfaccia web” senza dipendenze ingombranti o infrastrutture complesse.

L’obiettivo di nanochat è dimostrare che un analogo base di ChatGPT può essere costruito in poche ore e per circa cento dollari. Lo script speedrun.sh esegue automaticamente tutti i passaggi, dalla tokenizzazione e dall’addestramento all’inferenza e al lancio di un’interfaccia web che può essere utilizzata per comunicare, proprio come ChatGPT.

Su un nodo con otto GPU NVIDIA H100, l’intero processo richiede circa quattro ore e costa 100 dollari (a 24 dollari all’ora). Una volta completato l’addestramento, è possibile aprire un server locale e porre al modello qualsiasi domanda, dalla poesia a domande fisiche come “perché il cielo è blu?”

Il progetto genera un report dettagliato (report.md) con parametri di training e risultati comparativi tra benchmark popolari, tra cui ARC, GSM8K, MMLU e HumanEval. Sebbene si tratti ancora di un livello di potenza “da scuola materna” rispetto ai LLM industriali, nanochat dimostra l’intero ciclo funzionale di un modello moderno, inclusi interfaccia, valutazione ed esperienza utente.

Karpathy sottolinea che sono in fase di sviluppo versioni più grandi, con prezzi di 300 e 1.000 dollari, che avvicineranno l’algoritmo ai livelli GPT-2. Il codice è ottimizzato per semplicità e trasparenza: niente configurazioni complesse, fabbriche di modelli o centinaia di parametri. Tutto è costruito attorno a un’unica base di codice coesa, facile da leggere, modificare ed eseguire.

NanoChat può essere eseguito anche su una singola scheda grafica, sebbene sia otto volte più lento rispetto a una 8×H100. Per GPU limitate, è sufficiente ridurre le dimensioni del batch per evitare di esaurire la memoria. Il progetto è interamente basato su PyTorch e dovrebbe funzionare sulla maggior parte delle piattaforme supportate.

Il ricercatore nel documento sottolinea che nanochat non è solo una demo, ma un benchmark di base, accessibile e riproducibile per studiare l’architettura di modelli linguistici di grandi dimensioni. Il suo design minimalista e open source lo rende adatto sia a studenti che a ricercatori che desiderano comprendere la struttura del moderno ChatGPT “in miniatura”.

Redazione

La Redazione di Red Hot Cyber fornisce aggiornamenti quotidiani su bug, data breach e minacce globali. Ogni contenuto è validato dalla nostra community di esperti come Pietro Melillo, Massimiliano Brolli, Sandro Sana, Olivia Terragni e Stefano Gazzella. Grazie alla sinergia con i nostri Partner leader nel settore (tra cui Accenture, CrowdStrike, Trend Micro e Fortinet), trasformiamo la complessità tecnica in consapevolezza collettiva, garantendo un'informazione accurata basata sull'analisi di fonti primarie e su una rigorosa peer-review tecnica.