Red Hot Cyber
Sicurezza Informatica, Notizie su Cybercrime, Analisi Vulnerabilità e Intelligenza Artificiale
Sandisk e SK Hynix hanno sviluppato la memoria flash HBF ad alta velocità, capace di ospitare 512 GB su un singolo chip. Questa tecnologia promette di risolvere i problemi di capacità dei moduli HBM utilizzati nelle GPU e acceleratori IA, offrendo una larghezza di banda vicina a quella dell'HBM ma con una capacità molto superiore.
I moderni acceleratori di intelligenza artificiale hanno imparato a elaborare enormi reti neurali, ma la memoria limitata costringe ancora gli sviluppatori a distribuire i modelli su più processori. Sandisk e SK Hynix propongono di risolvere il problema con la memoria flash HBF ad alta velocità, che dovrebbe combinare la capacità di un SSD con una larghezza di banda vicina a quella HBM.
Quasi tutte le potenti GPU e gli acceleratori di intelligenza artificiale utilizzano la memoria HBM. La produttività della HBM raggiunge diversi terabyte al secondo, ma la capacità dei singoli moduli è misurata in decine di gigabyte. I modelli di grandi dimensioni non entrano nella memoria di un singolo acceleratore, quindi gli sviluppatori devono combinare più processori tramite connessioni ad alta velocità costose e complesse.
La tecnologia sviluppata da Sandisk e SK Hynix High Bandwidth Flash assomiglia e strutturalmente a HBM. I produttori impilano i chip di memoria uno sopra l’altro, aumentando la capacità complessiva e il throughput. La prima generazione di moduli Sandisk avrà 16 strati, ma invece della memoria DRAM utilizzata dalla HBM, gli sviluppatori utilizzeranno la NAND.
Secondo la descrizione tecnica, l’HBF di prima generazione sarà in grado di leggere dati a velocità fino a 1,6 TB/s. Il valore è leggermente superiore alla velocità dell’HBM3e, ma notevolmente inferiore all’HBM4, dove il throughput di un singolo stack a 12 strati raggiunge i 2,5 TB/s. Le prossime generazioni di HBF dovrebbero superare la soglia dei due TB/s, per poi aumentare la velocità fino a 3,2 TB/s.
Il vantaggio principale dell’HBF non è legato alla velocità, ma alla capacità. Sandisk prevede di utilizzare die NAND fino a 256 Gbit ciascuno. Un singolo modulo a 16 livelli sarà in grado di archiviare 512 GB di dati, ovvero più di 14 volte la capacità degli stack HBM4 negli ultimi acceleratori AMD e Nvidia.
I produttori di acceleratori IA utilizzano già metodi di confezionamento simili, quindi l’integrazione di HBF non richiederà metodi di assemblaggio fondamentalmente nuovi.
I moduli HBF avranno all’incirca gli stessi requisiti di HBM. La memoria verrà posizionata accanto alla GPU utilizzando le tecnologie TSMC CoWoS, Intel EMIB
Sandisk inoltre non prevede aumenti significativi nel consumo energetico o nei costi rispetto a HBM. Grazie all’elevata densità della NAND, il costo di archiviazione di ciascun bit può essere notevolmente inferiore. Tuttavia, le proprietà della memoria flash impongono una serie limitazioni ai possibili casi d’uso.
La NAND può sopportare un numero limitato di cicli di scrittura e funziona con latenze misurate in microsecondi. La DRAM accede ai dati in decine di nanosecondi ed è in grado di sopportare meglio la riscrittura intensiva. La sostituzione completa dell’HBM con l’HBF comporterebbe una riduzione delle prestazioni e un’usura accelerata della memoria, che potrebbe distruggere un acceleratore che costa più di 50.000 dollari.
Sandisk e SK Hynix suggeriscono di utilizzare HBF non al posto di HBM, ma insieme a HBM. La DRAM veloce gestirà le operazioni ad alta intensità di scrittura, mentre la memoria flash si occuperà delle attività ad alta intensità di lettura. Tale divisione può ridurre il costo dell’inferenza e allo stesso tempo aumentare la capacità di memoria disponibile.
Durante l’inferenza, la rete neurale esegue due fasi diverse. Nella fase di pre-elaborazione della richiesta (prefill), il sistema analizza il testo, converte la richiesta in token, passa i dati attraverso il modello, forma la “KV cache” e crea il primo token di risposta. Il processo richiede un gran numero di scritture, quindi è più vantaggioso eseguire la pre-elaborazione in HBM.
Nella fase di generazione sequenziale della risposta (decodifica), l’acceleratore legge ripetutamente i pesi del modello o i parametri attivi durante la creazione di ogni nuovo token. La velocità di generazione dipende direttamente dalla larghezza di banda della memoria e quasi nessun dato viene scritto. HBF è particolarmente adatto per l’archiviazione di pesi “scrivi una volta, leggi molte volte” poiché la lettura non consuma praticamente alcuna NAND.
L’indipendenza energetica di HBF offre un ulteriore vantaggio. Dopo aver spento l’alimentazione, i pesi del modello verranno salvati nella memoria flash. Il server non dovrà ricaricare diversi terabyte di dati dalle unità nella memoria dell’acceleratore a ogni avvio. In termini di scopo, HBF ricorda in parte la memoria persistente Intel Optane, ma è orientato ai moderni sistemi di intelligenza artificiale.
In una delle opzioni proposte da Sandisk, l’acceleratore riceve 3,12 TB p
Betti RHC, la prima graphic novel al mondo dedicata alla cybersecurity awareness, ha finalmente il suo sito ufficiale. Uno spazio tutto suo dove scoprire il progetto, sfogliare le copertine degli episodi e immergersi nel mondo di Betti: la giovane laureanda in informatica che, dopo la morte misteriosa del padre, si trasforma nell'hacker più potente del mondo. Una storia avvincente che, episodio dopo episodio, affronta una minaccia digitale diversa — dal phishing al ransomware, fino al cyberbullismo — e insegna a riconoscerla e a difendersi, senza che sembri mai una lezione.
Sul sito trovate tutto ciò che rende Betti un progetto diverso dal solito: la sua filosofia, le anteprime delle tavole e il racconto di come nasce ogni volume. Perché dietro Betti RHC c'è solo lavoro umano: ogni tavola è disegnata interamente a mano dagli artisti del Gruppo Arte di Red Hot Cyber, senza alcun uso di intelligenza artificiale. E a garantire che ogni storia sia realistica e tecnicamente corretta c'è la supervisione degli hacker etici del gruppo HackerHood, che mantengono il racconto fedele al mondo reale della sicurezza informatica.
C'è spazio anche per le aziende, che possono usare Betti come strumento di awareness diverso dai soliti corsi: acquistare i volumi, personalizzarli con il proprio brand o sponsorizzare nuovi episodi. E come primo regalo, l'episodio "Byte the Silence", dedicato al cyberbullismo, è scaricabile gratuitamente per uso personale.
Perché la miglior difesa, in fondo, è una bella storia. 👉 Scopri tutto su https://betti.redhotcyber.com/