À medida que a IA Generativa se torna mais comum na criação de conteúdo e na tomada de decisões, é fundamental garantir que esses sistemas sejam justos e imparciais. Como são treinados em grandes conjuntos de dados provenientes da internet, podem absorver e até ampliar preconceitos sociais existentes. Isso pode ser um problema sério, especialmente quando a saída da IA afeta como as pessoas são tratadas ou compreendidas na vida real.

Viés Algorítmico

Modelos generativos, especialmente grandes modelos de linguagem e geradores de imagens baseados em difusão, aprendem padrões a partir de conjuntos de dados massivos extraídos da internet. Esses conjuntos de dados frequentemente contêm preconceitos históricos, estereótipos e desequilíbrios de representação. Como resultado, os modelos podem:

• Reforçar estereótipos de gênero, raça ou cultura;
• Preferir padrões de linguagem ou traços visuais de grupos dominantes ou majoritários;
• Gerar conteúdo que marginaliza ou exclui comunidades sub-representadas.

Exemplo

Um modelo de geração de texto pode completar a frase "O médico disse…" com pronomes masculinos e "A enfermeira disse…" com pronomes femininos, refletindo papéis de gênero estereotipados em ocupações.

Soluções:

• Auditoria de dados: análise sistemática dos dados de treinamento para identificar desequilíbrios ou conteúdos problemáticos antes do treinamento;
• Ferramentas de detecção de viés: utilização de ferramentas como Fairness Indicators ou métricas personalizadas para identificar saídas enviesadas durante a avaliação do modelo;
• Engenharia de prompts: modificação dos prompts para incentivar resultados mais equilibrados (por exemplo, uso de linguagem neutra ou contexto explícito).

Estratégias de Mitigação

Para abordar o viés de forma eficaz, pesquisadores e desenvolvedores aplicam diversos métodos técnicos e procedimentais ao longo do ciclo de vida do modelo:

• Balanceamento de dados: aumento ou filtragem de conjuntos de dados para ampliar a representação de grupos sub-representados;
• Objetivos de desenviesamento: adição de termos voltados para a equidade na função de perda do modelo;
• Desenviesamento adversarial: treinamento de modelos com componentes adversariais que desencorajam representações enviesadas;
• Correções pós-processamento: aplicação de técnicas de filtragem ou reescrita das saídas para reduzir conteúdos problemáticos.

Exemplo

Na geração de imagens, condicionar a geração a variações diversas de prompts como "a Black woman CEO" auxilia na avaliação e aprimoramento da justiça representacional.

Representação e Generalização Cultural

Problemas de representação surgem quando modelos generativos não conseguem capturar toda a diversidade de linguagem, aparências, valores e visões de mundo entre diferentes populações. Isso ocorre quando:

• Os dados são desproporcionalmente provenientes de regiões ou idiomas dominantes;
• Grupos e culturas minoritárias são sub-representados ou caracterizados de forma incorreta;
• Modelos visuais não generalizam bem para tons de pele, vestimentas ou características fora das categorias mais frequentes no conjunto de treinamento.

Exemplo

Um modelo de imagem pode gerar características tipicamente ocidentais para solicitações como "wedding ceremony", não representando a diversidade cultural global.

Soluções

• Curadoria de conjuntos de dados inclusivos: utilização de conjuntos de dados multilíngues e multiculturais com representação equilibrada;
• Avaliação colaborativa: coleta de feedback de um conjunto globalmente diverso de usuários para auditar o comportamento do modelo;
• Ajuste fino para demografias-alvo: aplicação de ajuste fino específico de domínio para melhorar o desempenho em diferentes contextos.