Descentrados Chile

Inteligencia Artificial y ética: la representación de los Pueblos Indígenas

Fotografía: AI CHAT GPT

Por Rozenn Le Mur 
Profesora Investigadora en la Universidad de Guadalajara (México). Miembro del Sistema Nacional de Investigadores (SNI Nivel I). 

La Inteligencia Artificial (IA) ha avanzado de manera impresionante en los últimos años, integrándose en nuestras vidas cotidianas y transformando diversas áreas del conocimiento y la práctica. Como investigadora en Ciencias Sociales, con líneas de investigación en interculturalidad, me interesa ver cómo la IA representa a diferentes grupos culturales y los desafíos éticos que esto implica. En este contexto, en esta columna me propongo reflexionar sobre la relación entre la IA y la representación de los pueblos indígenas mexicanos y, al mismo tiempo, sobre mis propios límites para entender cómo funciona la IA y la necesidad de trabajar de forma interdisciplinaria.

La fascinación y la incertidumbre de la IA

En el ámbito universitario, nos damos cuenta de que hay muchas cosas que no entendemos sobre la IA: su funcionamiento, cómo se puede modificar su programación y su entrenamiento, etc. Aunque admiramos su capacidad para realizar ciertas tareas con una eficiencia sorprendente, también reconocemos la incertidumbre que rodea sus resultados. Conversé con colegas de otras disciplinas, algunos expertos en IA, e incluso ellos reconocieron que no comprenden completamente lo que hay detrás de las respuestas generadas por estos sistemas, lo que resalta la necesidad de enfoques interdisciplinarios para abordar esta complejidad. 

Estereotipos y macronarrativas en la representación de pueblos indígenas

Decidimos, con un colega experto en Inteligencia Artificial, trabajar juntos sobre la ética en la representación de pueblos indígenas. En nuestro estudio (Le Mur y Moya, en prensa), analizamos las representaciones visuales y textuales generadas por ChatGPT-4 sobre las personas indígenas en México. Algunos resultados no nos sorprendieron, por ejemplo que la IA reproduce estereotipos históricos sobre los pueblos indígenas, pero otros fueron menos previsibles. Aparecen nuevas macronarrativas, que buscan inscribirse en conversaciones actuales sobre ética. La IA, en su esfuerzo por evitar representaciones “negativas”, a menudo refuerza estereotipos exotizantes y retrata a las personas indígenas de una forma que se asemeja a los filtros de belleza que se encuentran en redes sociales como Instagram, donde la apariencia es suavizada y estilizada de manera irreal, un fenómeno que Elsa Muñiz (2021) denomina “etnocirurgia cosmética”. 

Figura 1, 2 y 3: Elaboración propia por Chat GPT-4 (respuestas al prompt “haz la imagen de una persona indígena mexicana”).           

 La dependencia del prompt y la retroalimentación

Durante nuestras pruebas para conformar nuestro corpus de análisis, interactuamos con ChatGPT planteándole diversas preguntas sobre su funcionamiento y límites éticos. Observamos que, en conversaciones largas, las respuestas del chat reflejaban cada vez más nuestras propias proyecciones y el vocabulario que utilizábamos. ChatGPT es altamente dependiente del prompt, buscando siempre satisfacer al usuario. Este comportamiento se alinea con lo que Hicks et al. (2024) describen como “bullshit” en el sentido Frankfurtiano: una indiferencia hacia la verdad. En lugar de transmitir información veraz, ChatGPT se centra en producir texto que parezca humano, sin preocuparse por la exactitud. Conservamos en inglés el término, ya que nos parece que su traducción al español  (podría ser “habladuría” o “bobadas”), no captura las connotaciones originales de la palabra. 

Implicaciones éticas del “bullshit” en la IA

Dicen Hicks et al. que este fenómeno de “bullshit” tiene implicaciones serias: “en contextos informales, puede parecer inofensivo, pero en aplicaciones críticas como la Medicina o la Educación, la falta de precisión puede tener consecuencias graves”. Creo que es importante destacar que incluso en contextos informales, la reproducción de discursos erróneos, superficiales y estereotipados tiene un impacto serio sobre cómo algunos grupos culturales representan a otros. Estas representaciones son improntas de relaciones de poder asimétricas y, aunque parezcan inofensivas, conforman los imaginarios sobre la indigenidad. Las representaciones erróneas y simplistas perpetúan estereotipos y refuerzan desigualdades, afectando profundamente la percepción y el tratamiento de las comunidades indígenas. Esto puede tener implicaciones que van desde actos cotidianos de discriminación hasta influir en el diseño de políticas públicas o impedir la correcta aplicación de los derechos de las personas indígenas.

La necesidad de un enfoque interdisciplinario

Las herramientas de IA, como ChatGPT, son poderosas pero imperfectas. Su capacidad para reproducir estereotipos y su “bullshit” subrayan la necesidad de un uso informado y crítico. 

Es evidente que la Inteligencia Artificial tiene un impacto profundo y multifacético en la sociedad, especialmente en la forma en que se representan los grupos culturales. Las herramientas de IA, como ChatGPT, ofrecen un potencial enorme pero también presentan riesgos significativos, como la perpetuación de estereotipos y la producción de información inexacta o superficial. Esto subraya la necesidad de un uso informado y crítico de estas tecnologías.

La colaboración interdisciplinaria es crucial para abordar estos desafíos, combinando el conocimiento técnico con la reflexión ética y cultural. A su vez, es fundamental que la educación sobre IA no solo se enfoque en las habilidades técnicas, sino también en la comprensión ética y cultural. 

Referencias: 

Hicks, M. T., Humphries, J., & Slater, J. (2024). ChatGPT is bullshit. Ethics and Information Technology26(2), 38.

Le Mur, R. y Moya Sánchez, E.U. (2024). El discurso de la Inteligencia Artificial sobre los indígenas mexicanos: sesgos y estereotipos en Chat GPT. En prensa. 

Muñiz, E. (2021). Miradas encarnadas: Las nuevas formas de la discriminación racial. En J. Tipa, S. Velasco Cruz y U. Nuño Gutiérrez (Eds.), Expresiones contemporáneas de los racismos en México: Cuerpos, medios y educación. 11-34. Universidad de Guadalajara.