Sesgos culturales

IA: ni utópica ni distópica

Detrás de ChatGPT y la inteligencia artificial hay empresas tecnológicas con intereses y sus desarrollos refuerzan al Estado con el que hacen negocios, además del modelo cultural occidental y anglosajón.

Cómo funciona el uso de algoritmos para la selección de personal Foto: TELAM

En el último año y medio se comenzó a hablar mucho de Inteligencia Artificial generativa producto de la irrupción que generó el Chat GPT. Normalmente se habla de los sesgos de género y raciales que estos modelos presentan pero poco se habla del sesgo lingüístico y cultural que reproducen.

Los modelos de inteligencia artificial generativa, son plataformas que se desarrollan en torno a un contexto: la propiedad, el gobierno, los usuarios, la tecnología, el contenido y los modelos de negocio; también es constructor de lo que se denomina tecnocultura. 

Analizando los desarrollos de IA generativa desde una perspectiva sociotécnica, debemos considerar cómo estos desarrollos podrían perpetuar y profundizar las desigualdades preexistentes en la sociedad. Modelos como el Chat GPT dejan en claro que sólo representa a un modelo cultural occidental y anglosajón; buscando reforzar la construcción de la narrativa hegemónica de quienes ponen real interés en este producto: las grandes empresas tecnológicas de Silicon Valley y el Estado que invierte y financia estos proyectos, en este caso Estados Unidos.

Este tipo de algoritmos están construidos y enmarcados dentro de un idioma y ese lenguaje se encuentra dentro del espectro de “discursos ideológicos" de los programadores que están a cargo de crearlos. 

En el caso del Chat GPT el idioma que domina y determina la cultura y el interés de este producto, en realidad de la empresa que lo desarrolla y a mayor escala de Silicon Valley, es el inglés. No sólo esto sucede con quienes lo desarrollan, sino también con los usuarios aparecen los llamados bucles de retroalimentación. 

¿Qué son los bucles de retroalimentación? 

Como la IA se nutre principalmente del idioma inglés, esto hace que los usuarios tiendan a adaptarse usando este idioma y así la relación con los usuarios hacen que el sistema termine nutriéndose de este mismo idioma y reforzando este sesgo. En un mundo totalmente globalizado, multicultural y multipolar, se presentan estos modelos monolingües como neutrales, cuando no lo son.  Este es uno de los principales problemas que presenta este modelo.

Un tema no menor es que este tipo de modelo necesita una gran cantidad de datos para poder ser construido, por esta razón son las grandes empresas que tienen estos datos quienes los desarrollan, que en su gran mayoría son empresas que se radican en EE.UU. Este es otro de los grandes interrogantes ¿que hacen estas grandes empresas con NUESTROS datos?

En un mundo totalmente globalizado, multicultural y multipolar, se presentan estos modelos monolingües como neutrales, cuando no lo son"


La realidad es que más del 90% de los habitantes del mundo no nos comunicamos en idioma inglés, y por esta misma razón este desarrollo no es representativo ni del todo eficiente para estas personas, y solamente refuerza los privilegios de la porción representada, no sólo en términos idiomáticos, sino también culturales, de género, de clase, entre otros.

Expectativa vs realidad


Probablemente atribuirle tantas cualidades autónomas a la IA sea en realidad la exculpación para las mismas grandes empresas creadoras de estos desarrollos. 

La idea de pensar al Chat GPT como un “modelo de lenguaje humano”, genera grandes expectativas en los usuarios que puede verse frustrada producto del sesgo cultural que existe en el entrenamiento de estos modelos algorítmicos, el machine learning. Este desarrollo se hace en base a grandes conjuntos de datos extraídos de internet y curados por desarrolladores e investigadores, desde la perspectiva de la empresa que desarrolla el producto, mayoritariamente de hombres, blancos estadounidenses. 

Por otra parte, la subrepresentación de culturas, idiomas y dialectos en la base de datos de la cuál se nutre este sistema, hace que no tenga la misma eficiencia a lo largo y ancho del mundo. Y por esta razón se ven frustradas las expectativas de muchos usuarios, representando esto un problema sociotécnico, ya que en este caso, Open IA no está logrando satisfacer las necesidades de muchos de ellos, por no tener la capacidad -ni la decisión- de entrenar el modelo en base a todos los idiomas y dialectos que existen en el mundo.

Queda preguntarnos, en medio de una crisis institucional mundial donde países como Dinamarca designan un representante diplomático en Silicon Valley, si el camino es regular o si hay otra alternativa para establecer modelos más diversos, representativos y transparentes.


* Lic. En Gestión de Políticas Públicas, Maestranza en Gestión y Política de Ciencia y Tecnología, ex Directora de Géneros y TIC (Jefatura de Gabinete de la Nación)