Overføringslæring gjør det mulig å gjenbruke modeller trent på store datasett for nye oppgaver med begrenset datamengde. I stedet for å bygge et nevralt nettverk fra bunnen av, utnytter vi forhåndstrente modeller for å forbedre effektivitet og ytelse. Gjennom dette kurset har du allerede møtt lignende tilnærminger i tidligere seksjoner, som har lagt grunnlaget for å anvende overføringslæring på en effektiv måte.

Hva er overføringslæring?

Overføringslæring er en teknikk der en modell trent på én oppgave tilpasses til en annen, beslektet oppgave. Innen datamaskinsyn kan modeller forhåndstrent på store datasett som ImageNet finjusteres for spesifikke anvendelser som medisinsk bildebehandling eller autonom kjøring.

Hvorfor er overføringslæring viktig?

• Reduserer treningstid: siden modellen allerede har lært generelle trekk, trengs kun små justeringer;

• Krever mindre data: nyttig i tilfeller der det er kostbart å skaffe merkede data;

• Øker ytelsen: forhåndstrente modeller gir robust trekkuttrekking, noe som forbedrer nøyaktigheten.

Arbeidsflyt for overføringslæring

Den typiske arbeidsflyten for overføringslæring innebærer flere viktige trinn:

1. Valg av forhåndstrent modell:

   • Velg en modell trent på et stort datasett (f.eks. ResNet, VGG, YOLO);

   • Disse modellene har lært nyttige representasjoner som kan tilpasses nye oppgaver.

2. Modifisering av den forhåndstrente modellen:

   • Funksjonsekstraksjon: frys de tidlige lagene og tren kun de senere lagene for den nye oppgaven;

   • Finjustering: fjern frysing av noen eller alle lag og tren dem på det nye datasettet.

3. Trening på det nye datasettet:

   • Tren den modifiserte modellen ved bruk av et mindre datasett spesifikt for måloppgaven;

   • Optimaliser ved hjelp av teknikker som backpropagation og tap-funksjoner.

4. Evaluering og iterasjon:

   • Vurder ytelsen ved hjelp av måleverdier som nøyaktighet, presisjon, tilbakekalling og mAP;

   • Finjuster ytterligere om nødvendig for å forbedre resultatene.

Populære forhåndstrente modeller

Noen av de mest brukte forhåndstrente modellene for datamaskinsyn inkluderer:

• ResNet: dype residualnettverk som muliggjør trening av svært dype arkitekturer;

• VGG: en enkel arkitektur med ensartede konvolusjonslag;

• EfficientNet: optimalisert for høy nøyaktighet med færre parametere;

• YOLO: toppmoderne (SOTA) sanntidsobjektdeteksjon.

Finjustering vs. funksjonsekstraksjon

Funksjonsekstraksjon innebærer å bruke lagene i en forhåndstrent modell som faste funksjonsekstraktorer. I denne tilnærmingen fjernes vanligvis modellens opprinnelige klassifiseringslag og erstattes med et nytt, spesifikt for måloppgaven. De forhåndstrente lagene forblir fryst, noe som betyr at vektene deres ikke oppdateres under trening, noe som gir raskere trening og krever mindre data.

Finjustering går derimot et steg videre ved å låse opp noen eller alle de forhåndstrente lagene og trene dem på nytt med det nye datasettet. Dette gjør at modellen kan tilpasse de lærte egenskapene nærmere de spesifikke karakteristikkene til den nye oppgaven, noe som ofte gir bedre ytelse—spesielt når det nye datasettet er tilstrekkelig stort eller skiller seg betydelig fra de opprinnelige treningsdataene.

Bruksområder for overføringslæring

1. Bildeklassifisering

Bildeklassifisering innebærer å tilordne etiketter til bilder basert på deres visuelle innhold. Forhåndstrente modeller som ResNet og EfficientNet kan tilpasses for spesifikke oppgaver som medisinsk bildebehandling eller klassifisering av dyreliv.

Eksempel:

• Velg en forhåndstrent modell (f.eks. ResNet);

• Endre klassifiseringslaget slik at det samsvarer med målklassene;

• Finjuster med en lavere læringsrate.

2. Objektgjenkjenning

Objektgjenkjenning innebærer både å identifisere objekter og lokalisere dem i et bilde. Overføringslæring gjør det mulig for modeller som Faster R-CNN, SSD og YOLO å effektivt oppdage spesifikke objekter i nye datasett.

Eksempel:

• Bruk en forhåndstrent objektgjenkjenningsmodell (f.eks. YOLOv8);

• Finjuster på et egendefinert datasett med nye objektklasser;

• Evaluer ytelsen og optimaliser deretter.

3. Semantisk segmentering

Semantisk segmentering klassifiserer hver piksel i et bilde i forhåndsdefinerte kategorier. Modeller som U-Net og DeepLab er mye brukt i applikasjoner som autonom kjøring og medisinsk bildebehandling.

Eksempel:

• Bruk en forhåndstrent segmenteringsmodell (f.eks. U-Net);

• Tren på et domenespesifikt datasett;

• Juster hyperparametere for bedre nøyaktighet.

4. Stiloverføring

Stiloverføring anvender den visuelle stilen fra ett bilde til et annet, samtidig som det opprinnelige innholdet bevares. Denne teknikken brukes ofte i digital kunst og bildeforbedring, og benytter forhåndstrente modeller som VGG.

Eksempel:

• Velg en stiloverføringsmodell (f.eks. VGG);

• Legg inn innholds- og stilbilder;

• Optimaliser for visuelt tiltalende resultater.