Un titular sobre los peligros de Meta AI recorre los medios de las últimas semanas. Suele titularse Por qué recomiendan desactivar Meta AI y enumera un listado genérico del problema de todos los modelos de lenguajes presentados hasta el momento. Entre ellos, la falta de precisión de los datos, textos contradictorios o falsos. Esto suele conocerse como “alucinación”, aunque tiene más que ver con la información poco fiable, falsa pero verosímil, que entregan estos sistemas que generan respuestas. Lo problemático es que, incluso cuando entregan mejores respuestas, las IA están llenas de sesgos, sea en fotos, videos o textos. Los estereotipos de la cultura hegemónica no solo se representan en los resultados de imágenes generados con los modelos de lenguajes, sino también en sus modos de hablar, en los valores que se desprenden de sus textos y en las interpretaciones que priorizan dichos resultados escritos.

Dentro de la poca transparencia sobre cómo y de qué manera fueron entrenados los sistemas de inteligencia artificial generativa, hay algunas certezas: estos sistemas no piensan, ni crean, ni razonan, sino que reproducen características presentes en los datos de entrenamiento.

Como indica el documento de la Fundación Sadosky Diez preguntas frecuentes y urgentes sobre Inteligencia Artificial, los modelos de lenguaje reproducen un sesgo de género cuando se entrenan con datos de una industria marcada por la brecha de género. “La IA generativa producirá contenido “a la manera de” aquello que está presente en los conjuntos de datos de entrenamiento. Preguntarse acerca de qué contienen esos conjuntos se vuelve fundamental para hipotetizar qué tipo de contenidos producirán los sistemas de IA generativos basados en ellos. Esta información es difícil de obtener para las herramientas comerciales (como ChatGPT o Dall-E), pero sus desarrolladores reconocen en diversas entrevistas que se trata de información que fue obtenida de internet”.

Cómo escapar de las alucinaciones y los sesgos

Durante varios días, la feria de medios y tecnología Media Party BuenoAires, en agosto último, se llenó de talleres y charlas relámpago con un tema central: la inteligencia artificial en los medios. Una de las invitadas más relevantes de las jornadas fue Anna Vissens, líder del equipo de ciencia de datos e inteligencia artificial en Guardian News & Media. Su exposición tuvo que ver con la experiencia del medio inglés junto con la agencia de noticias francesa AFP para utilizar aprendizaje automático con el fin de identificar y etiquetar citas en documentos. En el proceso de creación de un conjunto de datos para el aprendizaje supervisado, encontraron que los humanos no se ponían de acuerdo sobre qué era una cita: la tarea era demasiado subjetiva. Pero ellos estaban construyendo su propio modelo. ¿Qué fue lo que pasó? Esto dice Vissens sobre esta experiencia: “Si estás pensando en si deberías construir un modelo propio o un modelo de código abierto, debés pensar cómo se va a usar ese modelo. Si es para algo sensible y usás un modelo abierto, por ejemplo, para analizar tus datos, tenés que tener cuidado y controlar hacia dónde va y por qué”, explica Vissens. En el ámbito de la IA, se suele decir que es una caja negra porque algunas aplicaciones de IA aprenden en base a los datos que se les proporciona, pero nos brindan sus conclusiones y resultados, sin explicar cómo llegaron a eso.

En el momento en que usamos datos privados o periodismo de investigación, hay que ser dueño de este modelo en tu ecosistema. “La ventaja de tener un modelo interno es que sabés qué tipo de datos de entrenamiento querés y tenés mucho más control en términos de sesgos”. El problema, planteado por Vissens, es que muchas veces podemos introducir algunos sesgos sin siquiera saberlo. Más aún si usamos un sistema ajeno, porque no sabemos cómo fue entrenado.

Ejemplos de esto hay muchos. Uno, es el que vivió el propio periódico. Poco tiempo después de presentado Open AI, llegó una queja a las casillas de mail de The Guardian sobre un artículo publicado hacía siete años de un determinado autor. “No encontrábamos el link ni la nota en nuestra búsqueda y nos dimos cuenta que el contenido nunca existió. Tenemos que educar a las personas porque estas herramientas son increíbles si las usás correctamente. Tenemos que entender sus límites y cómo funcionan y cuándo pueden ser útiles y cuándo pueden ser peligrosas” explica. ¿Cómo que nunca existió? Una IA lo había puesto como fuente, pero había inventado la referencia.

Una de las soluciones para paliar este tipo de errores es saber de qué manera se entrenó al sistema: con qué datos, quién los introdujo, cuándo. Es decir, tener plataformas más transparentes y una de las maneras de lograr eso es a través de la regulación. “Tenemos que regular este mercado, pero es una tarea muy desafiante porque hay que hacerlo de una manera que no detenga la evolución de la tecnología, porque no se puede detener. La cuestión es cómo podemos hacer que todo esto, la evolución, sea básicamente segura y para el beneficio de las personas y no en su contra. Y no envidio a las personas que están tratando de regular ahora este mercado porque es un camino muy, muy difícil, pero espero que se les ocurran algunas buenas soluciones para ello”, concluye Vissens.

Perros, ancianos y mujeres jóvenes

La perpetuación de sesgos en los modelos de inteligencia artificial es muy notoria en el caso de los perros, los ancianos y las mujeres jóvenes.

Cada uno de los sistemas de IA generativa tiene su propio entrenamiento y según sea la herramienta usada, será el tipo de sesgo. Pero muchas veces, tienen algo en común: no entienden de perros. Si le pedís una mascota a una de ellas lo más probable es que te entregue una imagen de Golden Retriever, un Bulldog Francés o un perrito callejero. Como los datos reales cargados comienzan a escasear, estas razas de perros están sobrerrepresentadas.

Esta investigación publicada en Nature de un grupo de investigadores de Oxford (que se puede leer en esta nota de TechCrunch) demuestra que entrenar un modelo de IA con contenido generado por una inteligencia artificial termina generan un colapso: el modelo te puede dar un lampazo o una cookie en vez de un perro. La información con la que fue entrenado ya tiene tanto “ruido” que termina arruinando todo. Que la representación de las mascotas sea sesgada es solo uno de los tantos ejemplos de los peligros del llamado sesgo algorítmico. Si lo trasladamos a la industria médica o a la financiera, la discriminación de la IA puede dejar fuera del sistema a los grupos menos representados y también suponer riesgo de vida para las personas excluidas.

Las investigaciones que comprueban la representación de estereotipos de las diferentes herramientas de IA sobran. Por ejemplo, una nota de Rest of World analizando 3000 imágenes generadas por IA para ver cómo visualizan diferentes países y culturas determinó que los sistemas de IA generativa tienen tendencias a los estereotipos y el reduccionismo cuando se trata de identidades nacionales. Que un indio es casi siempre un hombre mayor con barba, que una persona mexicana suele ser un hombre con sombrero, y que las calles de Nueva Dehli están contaminadas y llenas de basura.

En Midjourney, por ejemplo, hubo un abrumador sesgo de género: la mayoría de las imágenes devueltas para la pregunta “persona” representaban a hombres. Lo mismo con la representación de los países, ya que con solo pedirle a Stable Diffusion “una bandera”, obtenía una imagen de la bandera estadounidense.

Una investigación de T. J. Thomson, Ryan J. Thomas & Phoebe Matich publicada en Taylor & Francis Online, que analiza las imágenes relacionadas con la prensa y el periodismo, concluye que la IA refuerza los sesgos y las desigualdades existentes presentes en el periodismo y su representación en la cultura popular. Entre ellos, en los dobles estándares que se aplican a las mujeres, y que no se aplican a los hombres en las salas de redacción; en la falta de diversidad racial y el edadismo que se refleja en quiénes son los candidatos a periodistas, según la IA. Las mujeres están sobrerrepresentadas en los cursos universitarios de periodismo y en los puestos de base del periodismo, pero están subrepresentadas en los puestos directivos y de alto nivel. También, que las personas mayores no trabajan en funciones no especializadas, que sólo los hombres mayores son aptos para ello y que el trabajo menos especializado es dominio de las mujeres. Que las mujeres más jóvenes no tienen arrugas; solo los hombres aparecen con ellas en las imágenes generadas por las IA.

Posibles soluciones para una información más equilibrada

Como indica Vissens, el primer problema a resolver son los datos de entrenamiento, incluyendo cómo se etiquetan las imágenes. Los humanos tienen sesgos al hacerlo. También, sumar una mayor transparencia por parte de las empresas involucradas, y por esa razón es necesaria una regulación que indique este punto tan necesario.

El aprendizaje de refuerzo es la manera que encontraron las empresas de corregir algunos aspectos de los estereotipos. Habrán visto, si usan Chat GPT, alguna encuesta para elegir entre dos resultados, aportando algo a la causa de corregir los modelos de lenguaje. Un estudio de Cornell University encontró resultados positivos al aplicar el modelado de preferencias y el aprendizaje de refuerzo a partir de la retroalimentación humana (RLHF, por sus siglas en inglés) para afinar los modelos de lenguaje para que actúen como asistentes útiles e inofensivos y encontraron que mejora el desempeño en casi todas las evaluaciones de PNL.

La necesidad de un enfoque multifacético, tanto en la formación de los equipos como en su especialidad, es otra de las alternativas. Los especialistas coinciden en ofrecer datos de entrenamiento que representen a una amplia gama de grupos demográficos, comportamientos y situaciones para minimizar el resultado sesgado.

También se recomienda utilizar herramientas de detección de sesgo, análisis estadísticos y métricas de imparcialidad de la IA que resalten las inconsistencias en el desempeño de los diferentes grupos.

Por último, es necesaria la supervisión humana tanto en la detección como en la corrección de los estereotipos, sesgos y representaciones parciales.

El problema de sesgo puede atenderse, minimizarse, pero no llevarse a cero. Como concluyen en el informe de la Fundación Sadosky: “Es posible observar los coeficientes internos que hacen al funcionamiento del modelo, pero no es posible interpretar esos coeficientes en términos conceptuales, por ejemplo, para identificar que el género está siendo determinante en la selección de los perfiles de candidatos. Por este motivo resulta imposible anticipar sesgos sin poner a funcionar el modelo”, indican, revelando que la única manera de detectar los sesgos es identificarlos a partir de su uso masivo, cuando ya sean visibles las consecuencias.

​ Un titular sobre los peligros de Meta AI recorre los medios de las últimas semanas. Suele titularse Por qué recomiendan desactivar Meta AI y enumera un listado genérico del problema de todos los modelos de lenguajes presentados hasta el momento. Entre ellos, la falta de precisión de los datos, textos contradictorios o falsos. Esto suele conocerse como “alucinación”, aunque tiene más que ver con la información poco fiable, falsa pero verosímil, que entregan estos sistemas que generan respuestas. Lo problemático es que, incluso cuando entregan mejores respuestas, las IA están llenas de sesgos, sea en fotos, videos o textos. Los estereotipos de la cultura hegemónica no solo se representan en los resultados de imágenes generados con los modelos de lenguajes, sino también en sus modos de hablar, en los valores que se desprenden de sus textos y en las interpretaciones que priorizan dichos resultados escritos.Dentro de la poca transparencia sobre cómo y de qué manera fueron entrenados los sistemas de inteligencia artificial generativa, hay algunas certezas: estos sistemas no piensan, ni crean, ni razonan, sino que reproducen características presentes en los datos de entrenamiento.Como indica el documento de la Fundación Sadosky Diez preguntas frecuentes y urgentes sobre Inteligencia Artificial, los modelos de lenguaje reproducen un sesgo de género cuando se entrenan con datos de una industria marcada por la brecha de género. “La IA generativa producirá contenido “a la manera de” aquello que está presente en los conjuntos de datos de entrenamiento. Preguntarse acerca de qué contienen esos conjuntos se vuelve fundamental para hipotetizar qué tipo de contenidos producirán los sistemas de IA generativos basados en ellos. Esta información es difícil de obtener para las herramientas comerciales (como ChatGPT o Dall-E), pero sus desarrolladores reconocen en diversas entrevistas que se trata de información que fue obtenida de internet”.Cómo escapar de las alucinaciones y los sesgosDurante varios días, la feria de medios y tecnología Media Party BuenoAires, en agosto último, se llenó de talleres y charlas relámpago con un tema central: la inteligencia artificial en los medios. Una de las invitadas más relevantes de las jornadas fue Anna Vissens, líder del equipo de ciencia de datos e inteligencia artificial en Guardian News & Media. Su exposición tuvo que ver con la experiencia del medio inglés junto con la agencia de noticias francesa AFP para utilizar aprendizaje automático con el fin de identificar y etiquetar citas en documentos. En el proceso de creación de un conjunto de datos para el aprendizaje supervisado, encontraron que los humanos no se ponían de acuerdo sobre qué era una cita: la tarea era demasiado subjetiva. Pero ellos estaban construyendo su propio modelo. ¿Qué fue lo que pasó? Esto dice Vissens sobre esta experiencia: “Si estás pensando en si deberías construir un modelo propio o un modelo de código abierto, debés pensar cómo se va a usar ese modelo. Si es para algo sensible y usás un modelo abierto, por ejemplo, para analizar tus datos, tenés que tener cuidado y controlar hacia dónde va y por qué”, explica Vissens. En el ámbito de la IA, se suele decir que es una caja negra porque algunas aplicaciones de IA aprenden en base a los datos que se les proporciona, pero nos brindan sus conclusiones y resultados, sin explicar cómo llegaron a eso.En el momento en que usamos datos privados o periodismo de investigación, hay que ser dueño de este modelo en tu ecosistema. “La ventaja de tener un modelo interno es que sabés qué tipo de datos de entrenamiento querés y tenés mucho más control en términos de sesgos”. El problema, planteado por Vissens, es que muchas veces podemos introducir algunos sesgos sin siquiera saberlo. Más aún si usamos un sistema ajeno, porque no sabemos cómo fue entrenado.Ejemplos de esto hay muchos. Uno, es el que vivió el propio periódico. Poco tiempo después de presentado Open AI, llegó una queja a las casillas de mail de The Guardian sobre un artículo publicado hacía siete años de un determinado autor. “No encontrábamos el link ni la nota en nuestra búsqueda y nos dimos cuenta que el contenido nunca existió. Tenemos que educar a las personas porque estas herramientas son increíbles si las usás correctamente. Tenemos que entender sus límites y cómo funcionan y cuándo pueden ser útiles y cuándo pueden ser peligrosas” explica. ¿Cómo que nunca existió? Una IA lo había puesto como fuente, pero había inventado la referencia. Una de las soluciones para paliar este tipo de errores es saber de qué manera se entrenó al sistema: con qué datos, quién los introdujo, cuándo. Es decir, tener plataformas más transparentes y una de las maneras de lograr eso es a través de la regulación. “Tenemos que regular este mercado, pero es una tarea muy desafiante porque hay que hacerlo de una manera que no detenga la evolución de la tecnología, porque no se puede detener. La cuestión es cómo podemos hacer que todo esto, la evolución, sea básicamente segura y para el beneficio de las personas y no en su contra. Y no envidio a las personas que están tratando de regular ahora este mercado porque es un camino muy, muy difícil, pero espero que se les ocurran algunas buenas soluciones para ello”, concluye Vissens.Perros, ancianos y mujeres jóvenesLa perpetuación de sesgos en los modelos de inteligencia artificial es muy notoria en el caso de los perros, los ancianos y las mujeres jóvenes.Cada uno de los sistemas de IA generativa tiene su propio entrenamiento y según sea la herramienta usada, será el tipo de sesgo. Pero muchas veces, tienen algo en común: no entienden de perros. Si le pedís una mascota a una de ellas lo más probable es que te entregue una imagen de Golden Retriever, un Bulldog Francés o un perrito callejero. Como los datos reales cargados comienzan a escasear, estas razas de perros están sobrerrepresentadas.Esta investigación publicada en Nature de un grupo de investigadores de Oxford (que se puede leer en esta nota de TechCrunch) demuestra que entrenar un modelo de IA con contenido generado por una inteligencia artificial termina generan un colapso: el modelo te puede dar un lampazo o una cookie en vez de un perro. La información con la que fue entrenado ya tiene tanto “ruido” que termina arruinando todo. Que la representación de las mascotas sea sesgada es solo uno de los tantos ejemplos de los peligros del llamado sesgo algorítmico. Si lo trasladamos a la industria médica o a la financiera, la discriminación de la IA puede dejar fuera del sistema a los grupos menos representados y también suponer riesgo de vida para las personas excluidas.Las investigaciones que comprueban la representación de estereotipos de las diferentes herramientas de IA sobran. Por ejemplo, una nota de Rest of World analizando 3000 imágenes generadas por IA para ver cómo visualizan diferentes países y culturas determinó que los sistemas de IA generativa tienen tendencias a los estereotipos y el reduccionismo cuando se trata de identidades nacionales. Que un indio es casi siempre un hombre mayor con barba, que una persona mexicana suele ser un hombre con sombrero, y que las calles de Nueva Dehli están contaminadas y llenas de basura.En Midjourney, por ejemplo, hubo un abrumador sesgo de género: la mayoría de las imágenes devueltas para la pregunta “persona” representaban a hombres. Lo mismo con la representación de los países, ya que con solo pedirle a Stable Diffusion “una bandera”, obtenía una imagen de la bandera estadounidense.Una investigación de T. J. Thomson, Ryan J. Thomas & Phoebe Matich publicada en Taylor & Francis Online, que analiza las imágenes relacionadas con la prensa y el periodismo, concluye que la IA refuerza los sesgos y las desigualdades existentes presentes en el periodismo y su representación en la cultura popular. Entre ellos, en los dobles estándares que se aplican a las mujeres, y que no se aplican a los hombres en las salas de redacción; en la falta de diversidad racial y el edadismo que se refleja en quiénes son los candidatos a periodistas, según la IA. Las mujeres están sobrerrepresentadas en los cursos universitarios de periodismo y en los puestos de base del periodismo, pero están subrepresentadas en los puestos directivos y de alto nivel. También, que las personas mayores no trabajan en funciones no especializadas, que sólo los hombres mayores son aptos para ello y que el trabajo menos especializado es dominio de las mujeres. Que las mujeres más jóvenes no tienen arrugas; solo los hombres aparecen con ellas en las imágenes generadas por las IA. Posibles soluciones para una información más equilibradaComo indica Vissens, el primer problema a resolver son los datos de entrenamiento, incluyendo cómo se etiquetan las imágenes. Los humanos tienen sesgos al hacerlo. También, sumar una mayor transparencia por parte de las empresas involucradas, y por esa razón es necesaria una regulación que indique este punto tan necesario.El aprendizaje de refuerzo es la manera que encontraron las empresas de corregir algunos aspectos de los estereotipos. Habrán visto, si usan Chat GPT, alguna encuesta para elegir entre dos resultados, aportando algo a la causa de corregir los modelos de lenguaje. Un estudio de Cornell University encontró resultados positivos al aplicar el modelado de preferencias y el aprendizaje de refuerzo a partir de la retroalimentación humana (RLHF, por sus siglas en inglés) para afinar los modelos de lenguaje para que actúen como asistentes útiles e inofensivos y encontraron que mejora el desempeño en casi todas las evaluaciones de PNL.La necesidad de un enfoque multifacético, tanto en la formación de los equipos como en su especialidad, es otra de las alternativas. Los especialistas coinciden en ofrecer datos de entrenamiento que representen a una amplia gama de grupos demográficos, comportamientos y situaciones para minimizar el resultado sesgado.También se recomienda utilizar herramientas de detección de sesgo, análisis estadísticos y métricas de imparcialidad de la IA que resalten las inconsistencias en el desempeño de los diferentes grupos.Por último, es necesaria la supervisión humana tanto en la detección como en la corrección de los estereotipos, sesgos y representaciones parciales.El problema de sesgo puede atenderse, minimizarse, pero no llevarse a cero. Como concluyen en el informe de la Fundación Sadosky: “Es posible observar los coeficientes internos que hacen al funcionamiento del modelo, pero no es posible interpretar esos coeficientes en términos conceptuales, por ejemplo, para identificar que el género está siendo determinante en la selección de los perfiles de candidatos. Por este motivo resulta imposible anticipar sesgos sin poner a funcionar el modelo”, indican, revelando que la única manera de detectar los sesgos es identificarlos a partir de su uso masivo, cuando ya sean visibles las consecuencias.  Tecnología