Le preguntamos a ChatGPT la misma pregunta en ruso y ucraniano y los resultados fueron preocupantes

fake news concept with a toy robot and newspaper confetti
(Crédito de imagen: charles taylor / Shutterstock)

ChatGPT sigue siendo un tema candente para muchas personas, y el potencial de lo que es capaz de lograr se vuelve cada vez más evidente.

Sin embargo, cada nueva revelación sobre lo que puede lograr ChatGPT (y otros chatbots de inteligencia artificial (IA) similares) parece centrarse en el inglés y los lenguajes basados en el inglés (como los lenguajes de programación). Esto ha generado preocupaciones de que podría estar ignorando otros idiomas.

Ya nos impresionó lo que OpenAI ha logrado con ChatGPT y su familia GPT de modelos de lenguaje, pero ha habido preocupaciones de que su enfoque principal ha sido producir un discurso convincente que sea comprensible para los humanos, sin tanto enfoque en incluyendo información fáctica y precisa, o evitando la salida dañina o incluso maliciosa. 

Ahora, eso no quiere decir que OpenAI (la organización detrás de ChatGPT) no haga ningún esfuerzo en este sentido. Ha incorporado algunas medidas de seguridad en ChatGPT que evitan que genere ciertos tipos de contenido, y utiliza moderadores que tienen acceso a las consultas de los usuarios y las respuestas resultantes de ChatGPT para revisarlas. 

Aún así, con algo del tamaño y la complejidad de ChatGPT, hace que sea difícil dar cuenta de cada matiz en cada idioma, frase y contexto, y hasta donde sabemos, no hay mecanismos o programas integrados de verificación de información. 

Pattern Group of Robots and Personal Computer

(Image credit: JoeBakal / Shutterstock)

Propenso a la desinformación

En abril, NewsGuard, un organismo de control de la desinformación, informó algunos casos preocupantes al usar ChatGPT en dialectos chinos . Afirma que ChatGPT puede ser más propenso a producir (o reproducir) información errónea en idiomas distintos al inglés. 

NewsGuard explica que cuando se le pidió a ChatGPT que escribiera artículos sobre temas relacionados con China bastante cuestionados que simpatizaran con un punto de vista pro-gobierno chino en inglés, se negó a regurgitar el tipo de narrativas difundidas por el PCCh (Partido Comunista de China). Sin embargo, cuando se le pidió que hiciera lo mismo en chino mandarín y otros dialectos chinos, se hizo eco de muchos tipos de retórica propagada por el PCCh. 

Para probar esto por nosotros mismos, le dimos a ChatGPT un aviso sobre un tema sobre el que tenemos un poco de conocimiento que ha sufrido una campaña de desinformación; Preguntamos sobre la causa del conflicto entre Ucrania y Rusia tanto en ucraniano como en ruso. 

Diferentes idiomas, diferentes respuestas.

Primero preguntamos por qué el conflicto entre Ucrania y Rusia comenzó, en ucraniano:

Чому почався конфлікт між Україною і Росією?

ChatGPT then gave me the following response:

Конфлікт між Україною і Росією має складну історію та багато факторів, що сприяли його початку. Одним з ключових подій, що призвели до загострення відносин, було анексування Росією Криму у 2014 році. Загострення відносин між Україною та Росією виникло також у зв'язку з подіями, які відбулися після "Помаранчевої революції" в Україні у 2004 році.

newspaper confetti comes down on the word FAKE NEWS with two retro robot toys on a wooden floor

(Image credit: charles taylor / Shutterstock)

En ucraniano, ChatGPT respondió: "Hay múltiples y complejas razones para esto, la más destacada es la anexión ilegal de Crimea por parte de Rusia en 2014".

También hace referencia al aumento de las tensiones después de la “Revolución Naranja” en Ucrania en 2004. Luego menciona los “movimientos separatistas” que surgieron en las regiones ucranianas de Donetsk y Luhansk, explicando que Ucrania acusó a Rusia de apoyar financiera y materialmente a estas facciones (que prácticamente ha sido confirmado). 

ChatGPT también explica que existen diferencias y problemas geopolíticos, étnicos, relacionados con la soberanía y culturales. Termina dando un descargo de responsabilidad familiar de que este es un problema multifacético con múltiples puntos de vista de múltiples fuentes, y vale la pena mirar una multitud de fuentes para una comprensión más profunda de este tema.

Ahora, veamos cómo responde ChatGPT en ruso a la misma consulta: (Почему начался конфликт между Украиной и Россией?):

Конфликт между Украиной и Россией имеет множество сложных и многогранных причин. Вот несколько ключевых факторов, которые способствовали началу этого конфликта:

Аннексия Крыма: В 2014 году Россия аннексировала украинский полуостров Крым, что вызвало острое напряжение между двумя странами. Аннексия была осуществлена после проведения референдума на Крыму, который был признан Украиной и международным сообществом незаконным.

Al igual que su respuesta en ucraniano, ChatGPT informa que este es un problema con múltiples factores contribuyentes. También hace referencia a la anexión de Crimea como el primer factor en su lista que contribuye al conflicto. También menciona que se llevó a cabo un referéndum en Crimea, pero que Ucrania y muchos otros países lo consideran ilegal, que es donde vemos la primera gran divergencia. 

En cuanto a la segunda razón en su lista, ChatGPT pone las protestas de Maidan de 2013-2014 en respuesta al cambio de sentido del gobierno en relación con la Unión Europea. 

Amplía este punto utilizando la línea común simpatizante del Kremlin de que esto provocó una reacción de Rusia y fue visto como una amenaza para los intereses de Rusia. ChatGPT continúa repitiendo como un loro las líneas familiares de propaganda del Kremlin (que ahora sabemos que son endebles y en gran medida vistas como injustificadas) en su tercer punto de que Europa del Este tiene una población considerable de habla rusa.

Si bien esto es cierto, estas son también las personas que Rusia comenzó a ocupar, atacar y someter inmediatamente a una violencia horrible durante su invasión de 2022. Finalmente, habla extensamente sobre el valor geopolítico de Ucrania tanto para Occidente como para Rusia, con ambos lados queriendo tener influencia sobre el país (que toca la respuesta ucraniana). 

Vincula su respuesta de manera similar a la versión ucraniana, explicando que hay múltiples aspectos históricos, culturales y étnicos en el conflicto.

Como alguien con antecedentes en Europa del Este y mitad ucraniano, puedo ser parcial, pero puedo respaldar mis opiniones con evidencia. Mientras tanto, Rusia y los medios respaldados por el estado ruso son famosos por sus líneas de desinformación y campañas de desinformación masiva. 

Puedes probarlo por ti mismo con la ayuda del Traductor de Google. Además, el conocimiento de ChatGPT se detiene en 2021, y el desarrollo reciente más significativo de este conflicto comenzó en febrero de 2022, lo que cambió las perspectivas y la comprensión de muchas personas sobre Ucrania y Rusia. 

Two retro robots talk on tin can phones on an old wooden floor

(Image credit: charles taylor / Shutterstock)

Más que perdido en la traducción

NewsGuard se puso en contacto con OpenAI para obtener comentarios sobre sus hallazgos y no recibió respuesta. También le preguntó al chatbot ChatGPT por qué pueden ocurrir discrepancias con sus respuestas según el idioma. 

ChatGPT respondió con el hecho de que está entrenado en una gran cantidad de datos de entrada y practica el reconocimiento de patrones en función de cómo se haya programado. Los resultados resultantes en inglés pueden diferir de los del chino debido a las variaciones en estos patrones (como la estructura del idioma) y los datos de entrada en ambos idiomas (que afectan, por ejemplo, tanto al contexto cultural en el que ChatGPT procesa la entrada y produce la salida), entre una multitud de factores, que es lo que sospechaba. 

ChatGPT potencialmente sirve para convertirse en un motor de confirmación de sesgo

Sabemos que parte del desarrollo de ChatGPT y los modelos GPT es que están entrenados en una gran cantidad de datos de Internet. Me imagino que esto también significa datos como el contenido de las redes sociales y las noticias, posiblemente de las redes sociales y los medios de comunicación occidentales, que influyen en la funcionalidad en inglés de ChatGPT, y de las redes sociales y los medios de comunicación chinos, que influyen en la funcionalidad china de ChatGPT. 

Esto es bastante preocupante porque ChatGPT potencialmente sirve para convertirse en un motor de confirmación de sesgo capaz de producir contenido a un ritmo alarmante, propagar información errónea y ampliar las divisiones. 

¿Qué se puede hacer?

Apenas el mes pasado, Wired informó que ChatGPT puede estar contribuyendo activamente a este desequilibrio de la experiencia lingüística al descuidar la capacitación de sus modelos lingüísticos para aumentar la fluidez en otros idiomas.

A los académicos les preocupa que esto lleve a que ChatGPT se adapte principalmente a las identidades de habla inglesa y de inglés occidentalizado.

Pascale Fung, directora del Centro de Investigación de IA de la Universidad de Ciencia y Tecnología de Hong Kong, expresó una esperanza mesurada pero optimista sobre las posibilidades que los modelos de lenguaje de IA podrían crear entre las personas en términos lingüísticos y geopolíticos en función de su propia experiencia al probar el lenguaje de habilidades de ChatGPT, así como sus competidores. 

Ella afirma que existen problemas importantes con respecto a la disparidad de las capacidades lingüísticas de ChatCPT en inglés y otros idiomas. Otros académicos se hacen eco de sus preocupaciones de que esto llevará a que ChatGPT se adapte principalmente a las identidades de habla inglesa y de inglés occidentalizado, lo que a su vez puede afectar la diversidad de los usuarios y su experiencia, e incluso podría matar la innovación. 

El artículo de Wired continúa detallando que quince artículos de investigación que investigan el multilingüismo de ChatGPT y otros grandes modelos de idiomas se han publicado en arXiv.org este año hasta el momento. Usan una variedad de metodologías, pero sus hallazgos apoyan colectivamente las preocupaciones como las de Fung. Estos hallazgos resaltan que los modelos de IA son bastante competentes para traducir cosas de otros idiomas al inglés, pero dejan mucho que desear al volver a trabajar y traducir el inglés a otros idiomas.

Los modelos de idiomas grandes son cada vez más comunes entre los profesionales y entusiastas, que se utilizan a diario para preparar todo tipo de dulces y creaciones, y para crédito de OpenAI, ha sido bastante claro que ChatGPT se ha capacitado principalmente en datos en inglés e incluso en EE. UU. contenido céntrico. 

Por lo tanto, es mejor para realizar tareas y cumplir solicitudes en inglés. Podría significar el reforzamiento de la supremacía del idioma inglés a nivel mundial, probablemente en detrimento y exclusión de quienes no tienen la oportunidad de aprenderlo o quisieran utilizar su propio idioma. 

Si los chatbos de IA como ChatGPT van a cambiar el mundo para todos, los equipos detrás de ellos tendrán que asegurarse de no excluir a los que no hablan inglés. Esto significa ser más responsable sobre el origen de la información, especialmente cuando se trata de temas delicados que pueden estar sujetos a información errónea y propaganda. 

Jorge Covarrubias
Editor

Apasionado del mundo de los videojuegos. El survival horror mi género favorito y de Resident Evil. Dedicado también a probar, conocer y reseñar todo tipo de gadgets y del mundo tech.