Skjevhet, Rettferdighet og Representasjon

Etter hvert som generativ KI blir mer utbredt innen innholdsproduksjon og beslutningstaking, er det viktig å sikre at disse systemene er rettferdige og uten skjevheter. Siden de trenes på store datasett hentet fra internett, kan de tilegne seg og til og med forsterke eksisterende samfunnsmessige skjevheter. Dette kan utgjøre et alvorlig problem, spesielt når KI-ens resultater påvirker hvordan mennesker blir behandlet eller oppfattet i virkeligheten.

Algoritmisk skjevhet

Generative modeller, spesielt store språkmodeller og bildegeneratorer basert på diffusjon, lærer mønstre fra enorme datasett hentet fra internett. Disse datasettene inneholder ofte historiske skjevheter, stereotypier og ubalanse i representasjon. Som et resultat kan modellene:

• Forsterke kjønns-, rase- eller kulturbaserte stereotypier;
• Foretrekke språk- eller visuelle trekk fra dominerende eller majoritetsgrupper;
• Generere innhold som marginaliserer eller utelukker underrepresenterte samfunn.

Eksempel

En tekstgenereringsmodell kan fullføre setningen "Legen sa…" med mannlige pronomen og "Sykepleieren sa…" med kvinnelige pronomen, noe som gjenspeiler stereotype kjønnsroller i yrker.

Løsninger:

• Datarevisjon: systematisk analyse av treningsdata for skjevhet eller problematisk innhold før trening;
• Verktøy for skjevhetsdeteksjon: bruk av verktøy som Fairness Indicators eller egendefinerte målemetoder for å identifisere skjevheter under modelevaluering;
• Prompt engineering: endring av prompt for å fremme mer balanserte resultater (f.eks. bruk av nøytralt språk eller eksplisitt kontekst).

Avbøtende strategier

For å håndtere skjevhet effektivt, benytter forskere og utviklere ulike tekniske og prosedyremessige metoder gjennom hele modellens livssyklus:

• Databalansering: utvide eller filtrere datasett for å øke representasjonen av underrepresenterte grupper;
• Avskjevende målsetninger: legge til rettferdighetsbevisste termer i modellens tapsfunksjon;
• Adversarial debiasing: trene modeller med adversarielle komponenter som motvirker skjeve representasjoner;
• Etterkorrigering: bruke filtrering eller omskriving av utdata for å redusere problematisk innhold.

Eksempel

Ved bildegenerering kan bruk av varierte prompt som "a Black woman CEO" bidra til å teste og forbedre representasjonsrettferdighet.

Representasjon og kulturell generalisering

Representasjonsproblemer oppstår når generative modeller ikke klarer å fange opp hele mangfoldet av språk, utseende, verdier og verdenssyn på tvers av ulike befolkningsgrupper. Dette skjer når:

• Data i uforholdsmessig stor grad hentes fra dominerende regioner eller språk;
• Minoritetsgrupper og kulturer er underrepresentert eller feiltolket;
• Visuelle modeller generaliserer dårlig til hudtoner, bekledning eller trekk utenfor de mest vanlige kategoriene i treningssettet.

Eksempel

En bildemodell kan generere stereotypisk vestlige trekk for forespørsler som "wedding ceremony", og dermed ikke representere globalt kulturelt mangfold.

Løsninger

• Kuratert inkluderende datasett: bruk flerspråklige, flerkulturelle datasett med balansert representasjon;
• Evalueringsprosesser med folkefinansiering: innhent tilbakemeldinger fra et globalt mangfold av brukere for å revidere modellens atferd;
• Finjustering for målgrupper: bruk domenespesifikk finjustering for å forbedre ytelsen på tvers av kontekster.