Hvordan Man Evaluerer AI-Output

At vide, at AI kan hallucinere, er nyttigt. At vide, hvordan man tjekker dens output, gør dig til en effektiv og sikker AI-bruger.

Dette kapitel giver en praktisk ramme for at evaluere, hvad AI producerer — så du kan opdage problemer, før de bliver reelle.

Ikke alt kræver samme grad af kontrol

Før du tager fat på en tjekliste for faktatjek, er det nyttigt at vurdere, hvor meget verifikation et givent output faktisk behøver.

Opgaver med lav kontrol — hvor hallucinationer har ringe betydning:

• Idégenerering (du vælger blandt dem, ikke citerer dem);
• Udarbejdelse af dokumentstruktur (du gennemgår og omskriver);
• Generering af første udkast, som du redigerer grundigt;
• Omformulering af noget, du allerede ved er korrekt.

Opgaver med høj kontrol — hvor fejl har reelle konsekvenser:

• Alt output med specifikke fakta, statistikker eller data;
• Juridisk, medicinsk, finansielt eller compliance-relateret indhold;
• Indhold, der offentliggøres eller sendes til kunder uden gennemgang;
• Resuméer af dokumenter, hvor nøjagtighed er kritisk.

Tommelfingerregel: Jo højere indsats og jo mere specifik påstanden er, desto grundigere skal du verificere.

En praktisk tjekliste for verifikation

Gennemgå denne, før du bruger AI-output i en professionel sammenhæng:

• Indeholder dette specifikke fakta, tal eller statistikker? Hvis ja — verificér hver enkelt mod en primær kilde;
• Henviser dette til et reelt dokument, en undersøgelse, lov eller person? Hvis ja — bekræft at det faktisk eksisterer;
• Lyder noget mistænkeligt specifikt eller autoritativt? Specificitet i AI-output er ikke bevis for nøjagtighed;
• Modsiger dette, hvad jeg allerede ved? Tag uoverensstemmelsen alvorligt;
• Ville jeg være tryg ved, at min leder eller kunde så præcis, hvordan jeg producerede dette? Hvis ikke — kræves yderligere gennemgang.

Sådan verificeres effektivt

Det er ikke nødvendigt at faktatjekke hver eneste sætning. Fokuser indsatsen på:

• Navngivne kilder (personer, organisationer, rapporter) — søg direkte efter dem;
• Statistikker og procenter — find den oprindelige kilde, ikke endnu et AI-genereret resumé af den;
• Juridiske eller regulatoriske referencer — tjek officielle myndigheds- eller institutionskilder;
• Datoer og tidslinjer — lette at verificere, lette for AI at tage fejl af.

For generelt indhold, der ikke afhænger af specifikke fakta, er en grundig gennemlæsning af en person med faglig viden som regel tilstrækkelig.

Øvelse: Tjek et reelt AI-svar

Tag et hvilket som helst svar, du for nylig har modtaget fra et AI-værktøj — eller generér et nu ved at spørge om et emne, du kender godt.

Læs det kritisk igennem:

1. Identificér alle specifikke påstande — et faktum, et navn, en statistik, en anbefaling;
2. Markér alt, du ikke selv kan verificere fra hukommelsen;
3. Tjek mindst to af disse punkter mod en pålidelig kilde;
4. Notér, om AI'ens output var korrekt, delvist korrekt eller forkert.

Oftest vil outputtet være overvejende korrekt. Indimellem vil du opdage noget vigtigt. Målet er at opbygge en vane med kritisk læsning — ikke paranoia over hver sætning.