DeepSeek sfida i grandi dell’AI: taglio del 50% dei costi e delle API

L’azienda cinese DeepSeek ha presentato una versione sperimentale del suo modello linguistico, DeepSeek-V3.2-Exp, che per la prima volta implementa una propria versione di attenzione sparsa, una tecnica che riduce significativamente i costi computazionali nell’elaborazione di lunghe sequenze di testo. Il nuovo meccanismo, denominato DeepSeek Sparse Attention, si dice in grado di ridurre di quasi la metà i costi di gestione del modello. Per dimostrare questi risparmi, l’azienda ha ridotto il prezzo delle API del 50%.

Il problema del carico computazionale nei modelli linguistici di grandi dimensioni è particolarmente acuto per i dialoghi lunghi. La classica architettura Transformer, sviluppata nel 2017, confronta ogni parola nella sequenza di input con ogni altra parola, con un conseguente aumento quadratico del numero di operazioni. Per mille parole, questo si traduce in un milione di confronti e per diecimila in cento milioni. Questo sovraccarico aumenta l’utilizzo di risorse nelle sessioni lunghe e rallenta le prestazioni, poiché il sistema è costretto a rianalizzare l’intera cronologia del dialogo a ogni nuova richiesta.

La tecnologia Sparse Attention funziona in modo diverso. Non abbina ogni parola a ogni altra, ma seleziona un insieme limitato delle connessioni più significative. DeepSeek utilizza un meccanismo proprietario chiamato Lightning Indexer, una piccola unità di rete neurale aggiuntiva che valuta la significatività delle coppie di parole e seleziona fino a 2.048 connessioni più rilevanti per ogni posizione. L’azienda non ha divulgato i dettagli su come l’indicizzatore prende le sue decisioni, ma afferma che non compromette la qualità della comprensione del testo.

Christmas Sale -40% 𝗖𝗵𝗿𝗶𝘀𝘁𝗺𝗮𝘀 𝗦𝗮𝗹𝗲! Sconto del 𝟰𝟬% 𝘀𝘂𝗹 𝗽𝗿𝗲𝘇𝘇𝗼 𝗱𝗶 𝗰𝗼𝗽𝗲𝗿𝘁𝗶𝗻𝗮 del Corso "Dark Web & Cyber Threat Intelligence" in modalità E-Learning sulla nostra Academy!🚀 Fino al 𝟯𝟭 𝗱𝗶 𝗗𝗶𝗰𝗲𝗺𝗯𝗿𝗲, prezzi pazzi alla Red Hot Cyber Academy. 𝗧𝘂𝘁𝘁𝗶 𝗶 𝗰𝗼𝗿𝘀𝗶 𝘀𝗰𝗼𝗻𝘁𝗮𝘁𝗶 𝗱𝗲𝗹 𝟰𝟬% 𝘀𝘂𝗹 𝗽𝗿𝗲𝘇𝘇𝗼 𝗱𝗶 𝗰𝗼𝗽𝗲𝗿𝘁𝗶𝗻𝗮. Per beneficiare della promo sconto Christmas Sale, scrivici ad [email protected] o contattaci su Whatsapp al numero di telefono: 379 163 8765. Supporta Red Hot Cyber attraverso:  L'acquisto del fumetto sul Cybersecurity Awareness Ascoltando i nostri Podcast Seguendo RHC su WhatsApp Seguendo RHC su Telegram Scarica gratuitamente “Byte The Silence”, il fumetto sul Cyberbullismo di Red Hot Cyber Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì.

Test interni hanno dimostrato che il nuovo modello fornisce risultati comparabili alla versione precedente, DeepSeek-V3.1-Terminus, pur mantenendo un’elevata accuratezza e la capacità di elaborare sequenze lunghe. In particolare, DeepSeek ha reso open source i suoi componenti con licenza MIT e ha fornito pesi accessibili al pubblico, consentendo ad altri ricercatori di testare e sviluppare le soluzioni proposte.

DeepSeek ha fatto notizia per la prima volta a gennaio , quando il suo modello R1 ha raggiunto le prestazioni di OpenAI o1 con un costo di addestramento di soli 6 milioni di dollari. Inoltre, l’app di chat dell’azienda ha brevemente raggiunto il primo posto nell’app store per iPhone, superando ChatGPT. Da allora, l’attenzione del settore si è concentrata sul laboratorio cinese, costretto a trovare modi per ottimizzare i propri calcoli a causa dell’accesso limitato alle moderne GPU e ad altri chip specializzati a causa delle restrizioni all’esportazione.

Sebbene questo approccio abbia ricevuto da tempo scarsa attenzione e sia stato utilizzato per la prima volta in GPT-3 e in diversi altri modelli di sviluppatori occidentali, DeepSeek afferma che la sua implementazione ha consentito una messa a punto precisa e una significativa riduzione dei costi computazionali senza alcuna perdita di qualità evidente. Esperti indipendenti non hanno ancora confermato questi risultati, ma se le conclusioni dell’azienda si rivelassero corrette, tali metodi potrebbero cambiare significativamente l’economia dell’utilizzo di modelli di intelligenza artificiale a lungo termine.

Seguici su Google News, LinkedIn, Facebook e Instagram per ricevere aggiornamenti quotidiani sulla sicurezza informatica. Scrivici se desideri segnalarci notizie, approfondimenti o contributi da pubblicare.

Redazione

La redazione di Red Hot Cyber è composta da professionisti del settore IT e della sicurezza informatica, affiancati da una rete di fonti qualificate che operano anche in forma riservata. Il team lavora quotidianamente nell’analisi, verifica e pubblicazione di notizie, approfondimenti e segnalazioni su cybersecurity, tecnologia e minacce digitali, con particolare attenzione all’accuratezza delle informazioni e alla tutela delle fonti. Le informazioni pubblicate derivano da attività di ricerca diretta, esperienza sul campo e contributi provenienti da contesti operativi nazionali e internazionali.