La startup AI Etched svela Sohu. La CPU 20 volte più veloce della NVIDIA H100

Redazione RHC : 1 Luglio 2024 07:31

Una nuova startup è emersa recentemente per alimentare la prossima generazione di intelligenza artificiale generativa. Etched è un’azienda che produce un circuito integrato specifico per l’applicazione (ASIC) per elaborare “Trasformatori“. Il trasformatore è un’architettura per la progettazione di modelli di deep learning sviluppata da Google ed è ora il motore dietro modelli come GPT-4o di OpenAI in ChatGPT, Antrophy Claude, Google Gemini e la famiglia Llama di Meta.

Etched voleva creare un ASIC per elaborare solo i modelli del trasformatore, realizzando un chip chiamato Sohu. L’affermazione è che Sohu supera l’ultimo e il più grande NVIDIA di un intero ordine di grandezza.

Perché questo è importante? Non solo l’ASIC supera la GPU Hopper di 20 volte e Blackwell di 10 volte, serve anche così tanti token al secondo da abilitare una flotta completamente nuova di applicazioni AI che richiedono output in tempo reale.

Christmas Sale -40% 𝗖𝗵𝗿𝗶𝘀𝘁𝗺𝗮𝘀 𝗦𝗮𝗹𝗲! Sconto del 𝟰𝟬% 𝘀𝘂𝗹 𝗽𝗿𝗲𝘇𝘇𝗼 𝗱𝗶 𝗰𝗼𝗽𝗲𝗿𝘁𝗶𝗻𝗮 del Corso "Dark Web & Cyber Threat Intelligence" in modalità E-Learning sulla nostra Academy!🚀 Fino al 𝟯𝟭 𝗱𝗶 𝗗𝗶𝗰𝗲𝗺𝗯𝗿𝗲, prezzi pazzi alla Red Hot Cyber Academy. 𝗧𝘂𝘁𝘁𝗶 𝗶 𝗰𝗼𝗿𝘀𝗶 𝘀𝗰𝗼𝗻𝘁𝗮𝘁𝗶 𝗱𝗲𝗹 𝟰𝟬% 𝘀𝘂𝗹 𝗽𝗿𝗲𝘇𝘇𝗼 𝗱𝗶 𝗰𝗼𝗽𝗲𝗿𝘁𝗶𝗻𝗮. Per beneficiare della promo sconto Christmas Sale, scrivici ad [email protected] o contattaci su Whatsapp al numero di telefono: 379 163 8765. Supporta Red Hot Cyber attraverso:  L'acquisto del fumetto sul Cybersecurity Awareness Ascoltando i nostri Podcast Seguendo RHC su WhatsApp Seguendo RHC su Telegram Scarica gratuitamente “Byte The Silence”, il fumetto sul Cyberbullismo di Red Hot Cyber Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì.

L’architettura Sohu è così efficiente che è possibile utilizzare il 90% dei FLOPS, mentre le GPU tradizionali vantano un tasso di utilizzo FLOP del 30-40%. Ciò si traduce in inefficienza e spreco di energia, che Etched spera di risolvere costruendo un acceleratore dedicato ai trasformatori di potenza su vasta scala. Dato che lo sviluppo del modello di frontiera costa più di un miliardo di dollari USA e che i costi dell’hardware sono misurati in decine di miliardi di dollari USA, avere un acceleratore dedicato al potenziamento di un’applicazione specifica può aiutare a far avanzare l’intelligenza artificiale più rapidamente.

I ricercatori di intelligenza artificiale spesso affermano che “la scala è tutto ciò di cui hai bisogno” (simile al leggendario documento “l’attenzione è tutto ciò di cui hai bisogno”), e Etched vuole basarsi su questo.

Redazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.

Lista degli articoli