ChatGPT perde i colpi. I ricercatori di Stanford e di Berkeley hanno dimostrato la regressione degli output

I ricercatori della Stanford University e dell’Università della California, Berkeley, hanno pubblicato un documento di ricerca che pretende di mostrare i cambiamenti negli output di GPT-4 nel tempo.

Questo studio arriva sulla scia di persone che si lamentano spesso del fatto che GPT-4 è diminuito soggettivamente nelle prestazioni negli ultimi mesi. Le teorie includono modi su come OpenAI, per ridurre il loro sovraccarico computazionale, acceleri l’output per risparmiare risorse GPU.

Nel documento si riporta che la capacità di GPT-4 di identificare i numeri primi è precipitata drasticamente da una precisione del 97,6% a marzo a solo il 2,4% a giugno. Stranamente, GPT-3.5 ha mostrato prestazioni migliorate nello stesso periodo.

Pertanto nello studio “Come cambia il comportamento di ChatGPT nel tempo?” su arXiv, Lingjiao Chen, Matei Zaharia e James Zou hanno messo in dubbio le prestazioni costanti dei modelli di linguaggio di grandi dimensioni (LLM) di OpenAI, in particolare GPT-3.5 e GPT-4.

Il documento alimenta una convinzione comune ma non dimostrata che il modello del linguaggio AI sia peggiorato nelle attività di codifica e composizione negli ultimi mesi. Alcuni esperti non sono convinti dai risultati, ma affermano che la mancanza di certezza indica un problema più ampio con il modo in cui OpenAI gestisce i suoi rilasci di modelli.

Utilizzando l’accesso API, hanno testato le versioni di marzo e giugno 2023 di questi modelli su attività come la risoluzione di problemi matematici, la risposta a domande sensibili, la generazione di codice e il ragionamento visivo.

OpenAI è a conoscenza della nuova ricerca e afferma che sta monitorando i rapporti sul declino delle capacità GPT-4. “Il team è a conoscenza delle regressioni segnalate e le sta esaminando“, ha twittato Logan Kilpatrick, responsabile delle relazioni con gli sviluppatori di OpenAI, mercoledì.

Ti è piaciuto questo articolo? Ne stiamo discutendo nella nostra Community su LinkedIn, Facebook e Instagram. Seguici anche su Google News, per ricevere aggiornamenti quotidiani sulla sicurezza informatica o Scrivici se desideri segnalarci notizie, approfondimenti o contributi da pubblicare.

Luca Vinciguerra

Machine Learning Engineer specializzato nel Natural Language Processing. Appassionato di Intelligenza Artificiale, Coding e tecnologia in generale. Aspetta l'avvento di Skynet.

Aree di competenza: Artificial Intelligence Engineer, Machine Learning & Deep Learning Specialist, Python Developer