A pesar de convertirse en un éxito de la noche a la mañana cuando se lanzó ChatGPT todavía está luchando para sobresalir en algunas áreas - en particular la asistencia a la codificación, una nueva investigación ha afirmado.
Posicionado como una solución ideal a los problemas de programación, algunos desarrolladores han estado haciendo uso de una serie de herramientas de IA generativa como Copilot de GitHub para acelerar el flujo de trabajo, liberando más tiempo para centrarse en el trabajo productivo.
Sin embargo, un nuevo estudio de investigadores de la Universidad de Purdue ha descubierto que más de la mitad (52%) de las respuestas producidas por ChatGPT son incorrectas.
ChatGPT ayuda en la codificación
Los investigadores analizaron 517 preguntas de Stack Overflow y compararon las respuestas de ChatGPT con las humanas. En total, más de la mitad (54%) eran malentendidos conceptuales, alrededor de uno de cada tres (36%) eran inexactitudes fácticas, un número similar (28%) eran errores lógicos en el código y el 12% eran errores terminológicos.
En el artículo también se criticaba a ChatGPT por producir respuestas innecesariamente largas y complejas, con más detalles de los necesarios, lo que podía dar lugar a confusiones y distracciones. Sin embargo, en la encuesta a escala ultrapequeña realizada a 12 programadores, un tercio prefirió las respuestas articuladas y de libro de texto de ChatGPT, lo que pone de manifiesto la facilidad con la que se puede engañar a los codificadores.
Las implicaciones de estos hallazgos son bastante significativas, porque los errores de codificación pueden, en última instancia, provocar problemas mayores que afecten a múltiples departamentos u organizaciones.
Los autores resumen: "Dado que ChatGPT produce un gran número de respuestas incorrectas, nuestros resultados enfatizan la necesidad de precaución y concienciación respecto al uso de respuestas ChatGPT en tareas de programación."
Además de actuar con cautela, los investigadores también piden que se siga investigando para identificar y mitigar tales errores, así como una mayor transparencia y comunicación en torno a las posibles inexactitudes.
