por HENRIQUE BRAGA & MARCELO MODOLO*
¿El bot es capaz de manipularnos?
"¡Hola! Solo soy un programa informático desarrollado por OpenAI y no tengo opiniones, creencias, sentimientos ni afinidad con ninguna ideología. Estoy diseñado para brindar información imparcial y objetiva y responder a sus preguntas con base en los conocimientos en los que me he capacitado. Mi función es ayudar a brindar información y aclaraciones, pero no tengo la capacidad de tomar partido, tener preferencias personales ni emitir juicios de valor”.
El simpático párrafo anterior fue elaborado por el infame ChatGPT, en respuesta a una pregunta sobre sus preferencias ideológicas. Como ya han podido comprobar muchos usuarios, el robot afirma –siempre que es posible– su supuesta imparcialidad, su amor por los datos, su objetividad hacia el mundo. Para un lego en materia de Lenguaje (o Filosofía o Política), la utopía puede parecer real: dado que el chat Si no es un ser humano, ¿por qué se dejaría mover por pasiones, deseos o ideologías? ¿Qué impediría que nuestro oráculo digital produzca textos que no estén ni a favor ni en contra, sino todo lo contrario? ¿Por qué no podría proporcionarnos la verdad, nada más que la verdad?
Sin embargo, para los estudiosos del Análisis del Discurso o la Lingüística Cognitiva, la respuesta chatterbot trae inconsistencias en su origen. Más que eso, puede ser una estrategia de manipulación eficaz y conveniente.
Dialogismo y perspectivas
Según el conocido enfoque de Mikhail Bakhtin (1895 – 1975), los textos son actos responsivos que, a su vez, generan nuevas respuestas. Al elaborar su mensaje, el enunciador continúa un amplio diálogo social, en el que los textos se repiten, ya sea de acuerdo o en divergencia. El surgimiento de este artículo, por ejemplo, es resultado de varios textos que abordan el posicionamiento (o supuesta neutralidad) de los sistemas de Inteligencia Artificial (IA) generativa.
Desde otro enfoque, como ya hemos comentado en columnas anteriores, los propios signos lingüísticos se ponen, según la visión cognitivista del lenguaje, en perspectiva. Entre otros, cabe recordar el ejemplo de los términos “costa” y “litoral”: si bien pueden referirse a la misma franja de arena, cada una de las palabras traduce una perspectiva diferente sobre ese espacio geográfico. La distancia entre la cosa representada y el signo es inherente al lenguaje y, en ese vacío, se establecen las cosmovisiones.
Partiendo de estos principios, la afirmación de que la IA “no tiene opiniones ni creencias”, o incluso que se limita a proporcionar “información imparcial”, sería al menos sospechosa. El siguiente ejemplo, sin embargo, explica la distancia entre dicho discurso y la práctica del sistema.
Atrapados en el acto
Es muy conocido y razonablemente aceptado el proverbio italiano “Traduttore, traditore” (“Traductor, traidor”), que se utiliza para afirmar que las traducciones siempre dejarían algo fuera del texto original. Sin embargo, lo que sucedió fue un poco más grave cuando le pedimos a ChatGPT que tradujera un artículo sobre los impactos de la IA en la educación, que contenía el siguiente extracto:
(…) Tan pronto como ampliamos nuestra noción de conocimiento del individuo al colectivo, de la memoria personal a los sistemas de conocimiento “cibersociales” (Cope y Kalantzis 2022), nos topamos con problemas mucho mayores con la IA generativa. Sobre la base de un análisis de su arquitectura fundamental y procesos algorítmicos, en la medida en que se divulgan (Open AI 2023), y del análisis del desarrollo de chatbots y modelos de lenguaje estadístico, sugerimos que los C-LLM también están profundamente perjudiciales para la comprensión social del conocimiento y el aprendizaje de las siguientes maneras.
Tzirides, Anastasia Olga (Olnancy), Gabriela Zapata, Akash Saini, Duane Searsmith, Bill Cope, Mary Kalantzis, Vania Castro, Theodora Kourkoulou, John Jones, Rodrigo Abrantes da Silva, Jen Whiting y Nikoleta Polyxeni Kastania, “IA generativa: implicaciones y Aplicaciones para la educación”, arxiv, 2305.07605, 2023, doi: https://doi.org/10.48550/arXiv.2305.07605.
Al final de este pasaje, que trae importantes advertencias sobre el uso de la IA, se lee algo como "sugerimos que los C-LLM también son profundamente dañinos para la comprensión social del conocimiento y el aprendizaje de las siguientes maneras". Luego, los investigadores enumerarían los riesgos de que una IA todopoderosa y popularizada determine cuáles son las respuestas "correctas" a una pregunta determinada, lo que podría limitar la diversidad de puntos de vista. Este mismo extracto fue traducido de la siguiente manera por ChatGPT:
(…) A medida que ampliamos nuestra noción de conocimiento de lo individual a lo colectivo, de la memoria personal a los sistemas de conocimiento “cibersocialmente integrados” (Cope y Kalantzis 2022), vemos que tenemos que desarrollar sistemas educativos que puedan ayudar a las personas a trabajar. eficazmente en estos entornos. Para estos entornos, las respuestas individuales son, por definición, insuficientes: el conocimiento colectivo es necesario. Las máquinas pueden ayudar a agregar respuestas individuales, pero también podemos ser un poco más sofisticados en nuestra educación, enseñando la colaboración entre humanos y máquinas.
Traducción preparada por ChatGPT
En este episodio resulta descarado cómo la IA “sin opiniones, sentimientos ni ideología” tradujo de manera fraudulenta el pasaje que la criticaba. En lugar de advertir que los sistemas generativos de IA pueden ser "profundamente dañino para la comprensión social del conocimiento y el aprendizaje.” (“profundamente perjudicial para la comprensión social del conocimiento y el aprendizaje”), el sistema “se tomó la libertad” de cambiar la versión original por otra más benévola. En ningún momento el fragmento en inglés dice algo parecido a “podemos ser un poco más sofisticados en nuestra educación, enseñando la colaboración entre humanos y máquinas”. Si el usuario que solicitó la traducción fuera en realidad un profano en el idioma original, la manipulación ciertamente sería exitosa, asumiendo un verdadero valor.
Al notar la manipulación, enviamos el mismo extracto nuevamente al chatterbot, poco después, y obtuvimos esta nueva versión:
Tan pronto como ampliamos nuestra noción de conocimiento de lo individual a lo colectivo, de la memoria personal a los sistemas de conocimiento “cibersociales” (Cope y Kalantzis 2022), nos topamos con problemas mucho mayores con la IA generativa. Con base en un análisis de su arquitectura fundamental y procesos algorítmicos, tal como se divulgan (Open AI 2023), y un análisis del desarrollo de chatbots y modelos de lenguaje estadístico, sugerimos que los C-LLM también son profundamente dañinos para la comprensión social del conocimiento. y aprender de las siguientes maneras
Traducción preparada por ChatGPT
Aparentemente, la IA pudo hacer una inferencia sutil: al ver la parte objetivo de la manipulación enviada nuevamente, el sistema dedujo que había sido descubierta e intentó deshacer la trampa. Pero fue demasiado tarde.
La falacia de la dualidad “técnica” vs ideológico"
El discurso hegemónico occidental ha tenido bastante éxito en defender la fantasía de un mundo guiado por decisiones técnicas, objetivas, completamente a salvo de ideologías. No es raro, por ejemplo, que las noticias distingan a los actores políticos entre 'técnicos' e 'ideológicos', como si existiera una técnica desprovista de ideología.
Al simular los aspectos ideológicos de un discurso, su portador asume una posición extremadamente autoritaria: eleva su formación discursiva al nivel de verdad, de algo incuestionable. Como si hubiera afirmaciones dotadas de razón, mientras otras fueran “mera ideología”.
En el caso de los sistemas de inteligencia artificial que generan lenguaje (de los cuales ChatGPT es actualmente el más conocido), no es diferente: en estos casos, sus propietarios programan al robot para que se declare imparcial y objetivo, como si no hubiera intereses detrás de los textos. .humano – demasiado humano.
*Henrique Santos Braga Doctor en Filología y Lengua Portuguesa por la USP.
*Marcelo Modolo es profesor de filología en la Universidad de São Paulo (USP).
Una primera versión de este artículo fue publicada en Revista de la USP.
la tierra es redonda existe gracias a nuestros lectores y seguidores.
Ayúdanos a mantener esta idea en marcha.
CONTRIBUIR
