A medida que la IA generativa se vuelve más común en la creación de contenido y la toma de decisiones, es fundamental garantizar que estos sistemas sean justos e imparciales. Dado que se entrenan con grandes conjuntos de datos provenientes de internet, pueden absorber e incluso amplificar los sesgos sociales existentes. Esto puede representar un problema grave, especialmente cuando la salida de la IA afecta la manera en que las personas son tratadas o comprendidas en la vida real.

Sesgo Algorítmico

Los modelos generativos, en particular los grandes modelos de lenguaje y los generadores de imágenes basados en difusión, aprenden patrones a partir de conjuntos de datos masivos recopilados de internet. Estos conjuntos de datos con frecuencia contienen sesgos históricos, estereotipos y desequilibrios en la representación. Como resultado, los modelos pueden:

• Reforzar estereotipos de género, raciales o culturales;
• Favorecer patrones de lenguaje o rasgos visuales de grupos dominantes o mayoritarios;
• Generar contenido que margina o excluye a comunidades subrepresentadas.

Ejemplo

Un modelo de generación de texto puede completar la frase "El doctor dijo…" con pronombres masculinos y "La enfermera dijo…" con pronombres femeninos, reflejando roles de género estereotipados en las ocupaciones.

Soluciones:

• Auditoría de datos: análisis sistemático de los datos de entrenamiento para detectar desequilibrios o contenido problemático antes del entrenamiento;
• Herramientas de detección de sesgos: uso de herramientas como Fairness Indicators o métricas personalizadas para identificar salidas sesgadas durante la evaluación del modelo;
• Ingeniería de prompts: modificación de los prompts para fomentar resultados más equilibrados (por ejemplo, utilizando lenguaje neutral o contexto explícito).

Estrategias de mitigación

Para abordar el sesgo de manera efectiva, los investigadores y desarrolladores aplican diversos métodos técnicos y procedimentales a lo largo del ciclo de vida del modelo:

• Balanceo de datos: aumento o filtrado de conjuntos de datos para incrementar la representación de grupos subrepresentados;
• Objetivos de desescalado: incorporación de términos orientados a la equidad en la función de pérdida del modelo;
• Desescalado adversarial: entrenamiento de modelos con componentes adversariales que desalientan representaciones sesgadas;
• Correcciones post-hoc: aplicación de técnicas de filtrado o reescritura de salidas para reducir contenido problemático.

Ejemplo

En la generación de imágenes, condicionar con variaciones diversas de prompts como "a Black woman CEO" ayuda a probar y mejorar la equidad representacional.

Representación y Generalización Cultural

Los problemas de representación surgen cuando los modelos generativos no logran captar la diversidad completa de lenguajes, apariencias, valores y visiones del mundo presentes en diferentes poblaciones. Esto ocurre cuando:

• Los datos se obtienen de manera desproporcionada de regiones o idiomas dominantes;
• Los grupos y culturas minoritarias están subrepresentados o son caracterizados incorrectamente;
• Los modelos visuales no generalizan adecuadamente a tonos de piel, vestimenta o rasgos fuera de las categorías más frecuentes en el conjunto de entrenamiento.

Ejemplo

Un modelo de imágenes puede generar rasgos estereotípicamente occidentales para indicaciones como "wedding ceremony", sin lograr representar la diversidad cultural global.

Soluciones

• Curación de conjuntos de datos inclusivos: utilizar conjuntos de datos multilingües y multiculturales con representación equilibrada;
• Evaluación mediante crowdsourcing: recopilar retroalimentación de un conjunto globalmente diverso de usuarios para auditar el comportamiento del modelo;
• Ajuste fino en demografías objetivo: aplicar ajuste fino específico de dominio para mejorar el desempeño en diferentes contextos.