Generative AI-modeller er utviklet for å skape nytt innhold ved å lære mønstre fra eksisterende data. Disse modellene har evnen til å generere et bredt spekter av utdata, inkludert tekst, bilder, musikk, videoer og til og med 3D-objekter.

Generative AI-modeller kan grovt deles inn i to kategorier:

1. Regelbaserte modeller: disse modellene baserer seg på forhåndsdefinerte regler og logikk for å generere innhold. De er ofte enklere og mindre fleksible, men kan være effektive for spesifikke oppgaver;
2. Dyp læringsbaserte modeller: disse modellene benytter nevrale nettverk for å lære fra store mengder data, noe som gjør dem i stand til å produsere svært realistiske og komplekse utdata. De er mer tilpasningsdyktige og kan håndtere ulike kreative oppgaver;

Moderne Generative AI bygger på dyp læringsbaserte modeller, som inkluderer:

• Generative Adversarial Networks (GANs);
• Variational Autoencoders (VAEs);
• Recurrent Neural Networks (RNNs) & Long Short-Term Memory (LSTMs);
• Diffusjonsmodeller;
• Neural Radiance Fields (NeRFs).

Hver modelltype har en unik arkitektur som påvirker hvordan den genererer innhold, noe som gjør dem egnet for ulike bruksområder innen AI-feltet.

1. Generative Adversarial Networks (GANs)

GANs består av to konkurrerende nevrale nettverk som trenes sammen:

• Generator: lager syntetiske data;
• Discriminator: skiller mellom ekte og falske data.

Arkitektur for GANs

1. Input:

   • Generatoren starter med en tilfeldig støyvektor (latent space);

2. Generator-modul:

   • Bruker fullt tilkoblede lag for å kartlegge støy til strukturerte trekk;
   • Benytter konvolusjonslag for å forbedre utdataene (f.eks. generere et bilde);

3. Generert utdata:

   • Generatoren produserer syntetiske data (f.eks. et bilde);

4. Discriminator-modul:

   • Bruker konvolusjonslag for å analysere bildet;
   • Benytter et klassifiseringslag for å avgjøre om bildet er ekte eller falskt.

5. Adversarial trening

   • Hvis Discriminatoren klassifiserer det falske bildet korrekt, justerer Generatoren sine parametere for å forbedre seg;
   • Denne prosessen gjentas til Generatoren produserer svært realistiske utdata.

Vanlige bruksområder:

• AI-genererte bilder og deepfakes
• Generering av syntetiske data
• AI-drevet kunstnerisk stiloverføring

2. Variasjonelle autoenkodere (VAE)

VAE-er er probabilistiske modeller som lærer en komprimert representasjon av data og deretter rekonstruerer variasjoner fra denne.

Arkitektur for VAE-er

1. Inndatalag:
   • Tar imot rådata (f.eks. et bilde);
2. Encoder-modul:
   • Komprimerer input til en latent rom-representasjon (funksjonsrom med lavere dimensjonalitet);
   • Bruker konvolusjonslag eller fullt tilkoblede lag;
3. Latent rom:
   • Definerer sannsynlighetsfordelingen til egenskaper ved hjelp av middel- og varianslag;
   • Legger til tilfeldig støy for å tillate variasjoner i genererte utdata;
4. Decoder-modul:
   • Rekonstruerer data fra den latente representasjonen;
   • Bruker dekonvolusjonslag (oppskalering) for å generere nye data;
5. Utgangslag:
   • Produserer rekonstruerte data (f.eks. en modifisert versjon av input).

Vanlige bruksområder:

• Datautvidelse og syntetisk datagenerering
• Bildegenerering med kontrollerte variasjoner
• Avviksdeteksjon

3. Transformer-baserte modeller

Transformere er grunnlaget for moderne AI-tekstmodeller. I stedet for å behandle data sekvensielt, analyserer de hele inputsekvenser samtidig ved hjelp av self-attention-mekanismer.

Arkitektur for transformere

1. Innebygging av input:
   • Konverterer ord eller tokens til vektorrepresentasjoner;
   • Bruker posisjonskoding for å bevare ordrekkefølgen;
2. Self-attention-modul:
   • Bestemmer hvilke ord i en setning som er viktige basert på kontekst;
   • Bruker multi-head attention-lag for dypere kontekstforståelse;
3. Fremovermatet nettverk:
   • Behandler self-attention-utdata ved hjelp av fullt tilkoblede lag;
   • Normaliserer data med lag-normalisering;
4. Utgangslag:
   • Genererer neste ord-forslag eller oversetter tekst basert på lærte mønstre.

Vanlige bruksområder:

• Chatboter drevet av KI og tekstgenerering
• Maskinoversettelse
• KI-assistert programmering

4. Diffusjonsmodeller

Diffusjonsmodeller er en ny klasse av generative KI-modeller som produserer høyoppløselige, detaljerte bilder ved gradvis å raffinere tilfeldig støy til strukturerte resultater. Disse modellene er spesielt effektive for KI-generert fotografi og digital kunst.

I motsetning til GANs, som benytter adversariell trening, lærer diffusjonsmodeller ved å reversere en støyprosess—det vil si at de starter med ren støy og rekonstruerer bilder gradvis.

Arkitektur for diffusjonsmodeller

1. Fremoverprosess (Legge til støy):
   • Et ekte bilde blir gradvis forringet ved å legge til tilfeldig støy over flere steg;
   • Etter tilstrekkelig mange steg blir bildet til ren støy;
2. Reversprosess (Fjerne støy steg for steg):
   • Et nevralt nettverk lærer å fjerne støy steg for steg;
   • Hvert steg gjenoppretter detaljer i bildet;
   • Sluttresultatet er et høyoppløselig generert bilde.

Nøkkelmoduler i diffusjonsmodeller

• Støyskjema – bestemmer hvor mye støy som legges til i hvert steg;
• U-Net-backbone – et konvolusjonsnevralt nettverk som lærer å fjerne støy fra bilder;
• Tidskodingsmodul – hjelper modellen å forstå hvilket steg den er i under støyfjerningsprosessen.

Vanlige bruksområder:

• KI-generert kunst og fotografi;
• Bildegjenoppretting (fjerning av uskarphet og støy);
• Høyoppløselig interpolering av videorammer.

Hvordan diffusjonsmodeller forbedrer seg over GANs

Diffusjonsmodeller gir større stabilitet, høyere kvalitet på utdata og mer variasjon enn GANs. Mens GANs er avhengige av adversariell trening, som kan føre til ustabile resultater og modussammenbrudd, forfiner diffusjonsmodeller gradvis støy til detaljerte bilder, noe som sikrer jevn kvalitet. De produserer også mer varierte utdata, mens GANs kan generere repeterende innhold. Diffusjonsmodeller krever imidlertid lengre beregningstid på grunn av sin trinnvise avstøyingsprosess, noe som gjør dem tregere, men mer pålitelige for høykvalitets bildesyntese.

Konklusjon

Generativ AI består av fire hovedtyper dype læringsmodeller, hver optimalisert for ulike oppgaver:

• GANs spesialiserer seg på deepfakes, AI-generert kunst;
• VAE-er brukes ofte til dataforsterkning og avviksdeteksjon;
• Transformere egner seg best for tekstgenerering.
• Diffusjonsmodeller gir bilder av høyest kvalitet med stabil trening.

Hver modell har unike fordeler og fortsetter å utvikle seg, og former fremtiden for AI-drevet kreativitet og automatisering.