Red Hot Cyber
Sicurezza Informatica, Notizie su Cybercrime e Analisi Vulnerabilità
I ricercatori della Stanford University e dell’Università della California, Berkeley, hanno pubblicato un documento di ricerca che pretende di mostrare i cambiamenti negli output di GPT-4 nel tempo.
Questo studio arriva sulla scia di persone che si lamentano spesso del fatto che GPT-4 è diminuito soggettivamente nelle prestazioni negli ultimi mesi. Le teorie includono modi su come OpenAI, per ridurre il loro sovraccarico computazionale, acceleri l’output per risparmiare risorse GPU.
Nel documento si riporta che la capacità di GPT-4 di identificare i numeri primi è precipitata drasticamente da una precisione del 97,6% a marzo a solo il 2,4% a giugno. Stranamente, GPT-3.5 ha mostrato prestazioni migliorate nello stesso periodo.
Pertanto nello studio “Come cambia il comportamento di ChatGPT nel tempo?” su arXiv, Lingjiao Chen, Matei Zaharia e James Zou hanno messo in dubbio le prestazioni costanti dei modelli di linguaggio di grandi dimensioni (LLM) di OpenAI, in particolare GPT-3.5 e GPT-4.
Il documento alimenta una convinzione comune ma non dimostrata che il modello del linguaggio AI sia peggiorato nelle attività di codifica e composizione negli ultimi mesi. Alcuni esperti non sono convinti dai risultati, ma affermano che la mancanza di certezza indica un problema più ampio con il modo in cui OpenAI gestisce i suoi rilasci di modelli.
Utilizzando l’accesso API, hanno testato le versioni di marzo e giugno 2023 di questi modelli su attività come la risoluzione di problemi matematici, la risposta a domande sensibili, la generazione di codice e il ragionamento visivo.
OpenAI è a conoscenza della nuova ricerca e afferma che sta monitorando i rapporti sul declino delle capacità GPT-4. “Il team è a conoscenza delle regressioni segnalate e le sta esaminando“, ha twittato Logan Kilpatrick, responsabile delle relazioni con gli sviluppatori di OpenAI, mercoledì.
