ChatGPT perde i colpi. I ricercatori di Stanford e di Berkeley hanno dimostrato la regressione degli output

Redazione RHC : 28 Luglio 2023 07:59

I ricercatori della Stanford University e dell’Università della California, Berkeley, hanno pubblicato un documento di ricerca che pretende di mostrare i cambiamenti negli output di GPT-4 nel tempo.

Questo studio arriva sulla scia di persone che si lamentano spesso del fatto che GPT-4 è diminuito soggettivamente nelle prestazioni negli ultimi mesi. Le teorie includono modi su come OpenAI, per ridurre il loro sovraccarico computazionale, acceleri l’output per risparmiare risorse GPU.

Nel documento si riporta che la capacità di GPT-4 di identificare i numeri primi è precipitata drasticamente da una precisione del 97,6% a marzo a solo il 2,4% a giugno. Stranamente, GPT-3.5 ha mostrato prestazioni migliorate nello stesso periodo.

Christmas Sale -40%

𝗖𝗵𝗿𝗶𝘀𝘁𝗺𝗮𝘀 𝗦𝗮𝗹𝗲! Sconto del 𝟰𝟬% 𝘀𝘂𝗹 𝗽𝗿𝗲𝘇𝘇𝗼 𝗱𝗶 𝗰𝗼𝗽𝗲𝗿𝘁𝗶𝗻𝗮 del Corso "Dark Web & Cyber Threat Intelligence" in modalità E-Learning sulla nostra Academy!🚀 Fino al 𝟯𝟭 𝗱𝗶 𝗗𝗶𝗰𝗲𝗺𝗯𝗿𝗲, prezzi pazzi alla Red Hot Cyber Academy. 𝗧𝘂𝘁𝘁𝗶 𝗶 𝗰𝗼𝗿𝘀𝗶 𝘀𝗰𝗼𝗻𝘁𝗮𝘁𝗶 𝗱𝗲𝗹 𝟰𝟬% 𝘀𝘂𝗹 𝗽𝗿𝗲𝘇𝘇𝗼 𝗱𝗶 𝗰𝗼𝗽𝗲𝗿𝘁𝗶𝗻𝗮.
Per beneficiare della promo sconto Christmas Sale, scrivici ad [email protected] o contattaci su Whatsapp al numero di telefono: 379 163 8765.

Supporta Red Hot Cyber attraverso:

Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì.

Pertanto nello studio “Come cambia il comportamento di ChatGPT nel tempo?” su arXiv, Lingjiao Chen, Matei Zaharia e James Zou hanno messo in dubbio le prestazioni costanti dei modelli di linguaggio di grandi dimensioni (LLM) di OpenAI, in particolare GPT-3.5 e GPT-4.

Il documento alimenta una convinzione comune ma non dimostrata che il modello del linguaggio AI sia peggiorato nelle attività di codifica e composizione negli ultimi mesi. Alcuni esperti non sono convinti dai risultati, ma affermano che la mancanza di certezza indica un problema più ampio con il modo in cui OpenAI gestisce i suoi rilasci di modelli.

Utilizzando l’accesso API, hanno testato le versioni di marzo e giugno 2023 di questi modelli su attività come la risoluzione di problemi matematici, la risposta a domande sensibili, la generazione di codice e il ragionamento visivo.

OpenAI è a conoscenza della nuova ricerca e afferma che sta monitorando i rapporti sul declino delle capacità GPT-4. “Il team è a conoscenza delle regressioni segnalate e le sta esaminando“, ha twittato Logan Kilpatrick, responsabile delle relazioni con gli sviluppatori di OpenAI, mercoledì.

Redazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.

Lista degli articoli

ChatGPT perde i colpi. I ricercatori di Stanford e di Berkeley hanno dimostrato la regressione degli output

Articoli in evidenza