Nel tentativo di aumentare l'utilità degli strumenti di intelligenza artificiale generativa per gli sviluppatori, OpenAI ha presentato CriticGPT, un nuovo modello che, a suo dire, può aiutare a identificare gli errori nei risultati del codice ChatGPT.
Basato su GPT-4, OpenAI sostiene che CriticGPT è stato in grado di superare gli sforzi non assistiti nel 60% dei casi, dimostrando la sua capacità di migliorare le prestazioni umane nelle attività di revisione del codice, piuttosto che sostituire gli operatori umani.
L'iniziativa di OpenAI mira a perfezionare il processo di "Reinforcement Learning from Human Feedback" (RLHF) per garantire una maggiore qualità e affidabilità dei sistemi di intelligenza artificiale.
OpenAI lancia un nuovo modello di verifica del codice
L'ultima serie GPT-4 di OpenAI, che alimenta le versioni di ChatGPT disponibili al pubblico, si affida molto all'RLHF per garantire che i suoi risultati siano affidabili e interattivi. Finora, questo processo è stato manuale e si è basato sul potere umano dei formatori di IA, che hanno valutato le risposte di ChatGPT per migliorare le prestazioni del modello.
Con il lancio di CriticGPT, OpenAI è ora in grado di criticare le risposte di ChatGPT in modo autonomo, risolvendo così i timori che il chatbot AI diventi troppo sofisticato per molti formatori umani.
CriticGPT è stato addestrato da formatori che hanno fornito feedback dopo aver inserito errori intenzionali nel codice generato da ChatGPT. I risultati sono stati promettenti: le critiche di CriticGPT sono state preferite dai formatori per circa due terzi (63%) delle volte, grazie alla capacità dello strumento di ridurre le sottigliezze e le allucinazioni.
Tuttavia, il progetto non è privo di limiti e la collaborazione tra IA e uomo continua a dimostrarsi più efficace rispetto alla sola IA.
Nel suo annuncio, OpenAI ha riassunto: "I suggerimenti di CriticGPT non sono sempre corretti, ma abbiamo constatato che possono aiutare i formatori a individuare molti più problemi con le risposte scritte dal modello di quanto non farebbero senza l'aiuto dell'IA".
L'azienda ha anche riconosciuto che "gli errori possono essere distribuiti in molte parti di una risposta", il che rende più complesso per uno strumento di IA identificarne la causa.
In prospettiva, OpenAI ha confermato l'intenzione di scalare il suo lavoro su CriticGPT e di metterlo in pratica.
