Etter hvert som generativ KI blir mer utbredt i innholdsproduksjon og beslutningstaking, er det viktig å sikre at disse systemene er rettferdige og uten skjevheter. Siden de trenes på store datasett hentet fra internett, kan de tilegne seg og til og med forsterke eksisterende samfunnsmessige skjevheter. Dette kan være et alvorlig problem, spesielt når KI-ens resultater påvirker hvordan mennesker blir behandlet eller oppfattet i virkeligheten.

Algoritmisk skjevhet

Generative modeller, spesielt store språkmodeller og bildegeneratorer basert på diffusjon, lærer mønstre fra enorme datasett hentet fra internett. Disse datasettene inneholder ofte historiske skjevheter, stereotypier og ubalanse i representasjon. Som et resultat kan modellene:

• Forsterke kjønns-, rase- eller kulturbaserte stereotypier;
• Foretrekke språk- eller visuelle trekk fra dominerende eller majoritetsgrupper;
• Generere innhold som marginaliserer eller utelukker underrepresenterte samfunn.

Eksempel

En tekstgenereringsmodell kan fullføre setningen "The doctor said…" med mannlige pronomen og "The nurse said…" med kvinnelige pronomen, noe som gjenspeiler stereotype kjønnsroller i yrker.

Løsninger:

• Datarevisjon: systematisk analyse av treningsdata for skjevheter eller problematisk innhold før trening;
• Verktøy for skjevhetsdeteksjon: bruk av verktøy som Fairness Indicators eller egendefinerte målemetoder for å identifisere skjeve resultater under modelevaluering;
• Prompt engineering: endre forespørsler for å fremme mer balanserte resultater (f.eks. ved å bruke nøytralt språk eller eksplisitt kontekst).

Avbøtende strategier

For å håndtere skjevhet effektivt, benytter forskere og utviklere ulike tekniske og prosedyremessige metoder gjennom hele modellens livssyklus:

• Databalansering: utvide eller filtrere datasett for å øke representasjonen av underrepresenterte grupper;
• Avskjevende målsetninger: legge til rettferdighetsorienterte termer i modellens tapsfunksjon;
• Adversarial debiasing: trene modeller med motstridende komponenter som motvirker skjeve representasjoner;
• Etterkorrigering: bruke filtrering eller omskriving av utdata for å redusere problematisk innhold.

Eksempel

Ved bildegenerering kan man teste og forbedre representasjonsrettferdighet ved å bruke varierte forespørsler som "a Black woman CEO".

Representasjon og kulturell generalisering

Representasjonsproblemer oppstår når generative modeller ikke klarer å fange opp det fulle mangfoldet av språk, utseende, verdier og verdenssyn på tvers av ulike befolkningsgrupper. Dette skjer når:

• Data er uforholdsmessig hentet fra dominerende regioner eller språk;
• Minoritetsgrupper og kulturer er underrepresentert eller feiltolket;
• Visuelle modeller generaliserer dårlig til hudtoner, bekledning eller trekk utenfor de mest vanlige kategoriene i treningssettet.

Eksempel

En bildemodell kan generere stereotypisk vestlige trekk for forespørsler som "wedding ceremony", og dermed ikke representere globalt kulturelt mangfold.

Løsninger

• Kuratert inkluderende datasett: bruk flerspråklige, flerkulturelle datasett med balansert representasjon;
• Evalueringsprosesser med folkefinansiering: innhent tilbakemeldinger fra et globalt mangfold av brukere for å revidere modellens atferd;
• Finjustering mot målgrupper: bruk domenespesifikk finjustering for å forbedre ytelsen på tvers av kontekster.