Google vuole il primo posto nelle CPU di intelligenza artificiale. La nuova TPU sembra superiore alla NVIDIA H100

Redazione RHC : 31 Dicembre 2023 08:56

Google ha recentemente annunciato il lancio dei suoi nuovi modelli di intelligenza artificiale Gemini. Ha accompagnato l’evento con il rilascio dell’ultima versione della sua Tensor Processing Unit (TPU) di punta per l’addestramento e l’inferenza dell’IA. La mossa di Google è vista come un tentativo di competere con le unità di elaborazione grafica (GPU) leader di mercato di Nvidia .

TPU v5p, il più potente acceleratore AI di Google, è stato implementato per alimentare l'”Hypercomputer AI”. Si tratta di un’architettura di supercalcolo progettata specificamente per eseguire applicazioni di intelligenza artificiale. A differenza dei supercomputer convenzionali che vengono generalmente utilizzati per calcoli scientifici.

L’ultima versione di TPU include 8.960 chip per nodo, rispetto ai 4.096 della v4, ed è quattro volte più scalabile in termini di FLOP. I nuovi nodi forniscono un throughput di 4.800 Gbps e dispongono di 95 GB di memoria ad alta velocità (HBM). Questo contro i 32 GB di RAM HBM in TPU v4.

La differenza tra Nvidia H100 e Google TPU v5p è la velocità. Google non offre i suoi TPU ad altre aziende per l’acquisto, vengono utilizzati esclusivamente all’interno dell’azienda per i propri prodotti e servizi. I TPU di Google sono stati a lungo utilizzati per alimentare servizi come Gmail, YouTube e Android. L’ultima versione è stata utilizzata anche per addestrare Gemini.

TPU v5p di Google è 2,8 volte più veloce nell’addestramento di modelli linguistici di grandi dimensioni rispetto a TPU v4. Offre un rapporto qualità-prezzo 2,1 volte maggiore. Sebbene la versione di fascia media TPU v5e rilasciata all’inizio di quest’anno offra il massimo valore, è solo 1,9 volte più veloce di TPU v4, rendendo TPU v5p l’opzione più potente.

Il TPU v5p è abbastanza potente da competere con la tanto ambita GPU H100 di Nvidia. Si tratta di una delle migliori schede grafiche per il lavoro di intelligenza artificiale. Secondo l’azienda, il componente è quattro volte più veloce nell’elaborazione dei carichi di lavoro rispetto alla GPU A100 di Nvidia.

Nel frattempo, il TPU v4 di Google è 1,2-1,7 volte più veloce dell’A100, secondo uno studio pubblicato ad aprile. I calcoli preliminari mostrano che il TPU v5p è circa 3,4-4,8 volte più veloce dell’A100. Questo lo pone alla pari o addirittura sopra l’H100, anche se sono necessari test più dettagliati per trarre conclusioni definitive.

Redazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.