Transfer learning möjliggör återanvändning av modeller som tränats på stora datamängder för nya uppgifter med begränsad data. Istället för att bygga ett neuralt nätverk från grunden, utnyttjas förtränade modeller för att förbättra effektivitet och prestanda. Under denna kurs har du redan stött på liknande tillvägagångssätt i tidigare avsnitt, vilket har lagt grunden för att tillämpa transfer learning på ett effektivt sätt.

Vad är Transfer Learning?

Transfer learning är en teknik där en modell som tränats på en uppgift anpassas till en annan relaterad uppgift. Inom datorseende kan modeller som förtränats på stora datamängder som ImageNet finjusteras för specifika tillämpningar såsom medicinsk avbildning eller autonom körning.

Varför är Transfer Learning Viktigt?

• Minskar träningstiden: eftersom modellen redan har lärt sig generella egenskaper krävs endast mindre justeringar;
• Kräver mindre data: användbart när det är kostsamt att samla in märkta data;
• Förbättrar prestanda: förtränade modeller erbjuder robust egenskapsutvinning, vilket ökar noggrannheten.

Arbetsflöde för Transfer Learning

Det typiska arbetsflödet för transfer learning omfattar flera viktiga steg:

1. Val av förtränad modell:

   • Välj en modell som är tränad på en stor datamängd (t.ex. ResNet, VGG, YOLO);
   • Dessa modeller har lärt sig användbara representationer som kan anpassas för nya uppgifter.

2. Modifiering av den förtränade modellen:

   • Feature extraction: frys de tidiga lagren och träna endast om de senare lagren för den nya uppgiften;
   • Fine-tuning: tina upp vissa eller alla lager och träna om dem på den nya datamängden.

3. Träning på den nya datamängden:

   • Träna den modifierade modellen med en mindre datamängd specifik för måluppgiften;
   • Optimera med tekniker som backpropagation och loss functions.

4. Utvärdering och iteration:

   • Bedöm prestanda med hjälp av mått som accuracy, precision, recall och mAP;
   • Finjustera ytterligare vid behov för att förbättra resultaten.

Populära förtränade modeller

Några av de mest använda förtränade modellerna för datorseende inkluderar:

• ResNet: djupa residualnätverk som möjliggör träning av mycket djupa arkitekturer;
• VGG: en enkel arkitektur med enhetliga konvolutionslager;
• EfficientNet: optimerad för hög noggrannhet med färre parametrar;
• YOLO: toppmodern (SOTA) realtidsobjektdetektering.

Fine-Tuning vs. Feature Extraction

Feature extraction innebär att använda lagren i en förtränad modell som fasta feature extractors. I detta tillvägagångssätt tas modellens ursprungliga klassificeringslager vanligtvis bort och ersätts med ett nytt specifikt för måluppgiften. De förtränade lagren förblir frysta, vilket innebär att deras vikter inte uppdateras under träningen, vilket snabbar upp träningen och kräver mindre data.

Finjustering går däremot ett steg längre genom att låsa upp vissa eller alla förtränade lager och träna om dem på den nya datamängden. Detta gör det möjligt för modellen att anpassa de inlärda egenskaperna närmare till de specifika egenskaperna hos den nya uppgiften, vilket ofta leder till förbättrad prestanda—särskilt när den nya datamängden är tillräckligt stor eller skiljer sig avsevärt från den ursprungliga träningsdatan.

Tillämpningar av transferinlärning

1. Bildklassificering

Bildklassificering innebär att tilldela etiketter till bilder baserat på deras visuella innehåll. Förtränade modeller som ResNet och EfficientNet kan anpassas för specifika uppgifter såsom medicinsk avbildning eller klassificering av vilda djur.

Exempel:

• Välj en förtränad modell (t.ex. ResNet);
• Ändra klassificeringslagret för att matcha målklasserna;
• Finjustera med en lägre inlärningshastighet.

2. Objektigenkänning

Objektigenkänning innebär både identifiering av objekt och lokalisering av dem i en bild. Transferinlärning möjliggör att modeller som Faster R-CNN, SSD och YOLO effektivt kan identifiera specifika objekt i nya datamängder.

Exempel:

• Använd en förtränad objektigenkänningsmodell (t.ex. YOLOv8);
• Finjustera på en anpassad datamängd med nya objektklasser;
• Utvärdera prestanda och optimera därefter.

3. Semantisk segmentering

Semantisk segmentering klassificerar varje pixel i en bild till fördefinierade kategorier. Modeller som U-Net och DeepLab används ofta i tillämpningar som autonom körning och medicinsk avbildning.

Exempel:

• Använd en förtränad segmenteringsmodell (t.ex. U-Net);
• Träna på en domänspecifik datamängd;
• Justera hyperparametrar för bättre noggrannhet.

4. Stilöverföring

Stilöverföring applicerar den visuella stilen från en bild till en annan samtidigt som det ursprungliga innehållet bevaras. Denna teknik används ofta inom digital konst och bildförbättring, med hjälp av förtränade modeller som VGG.

Exempel:

• Välj en stilöverföringsmodell (t.ex. VGG);
• Ange innehålls- och stilbilder;
• Optimera för visuellt tilltalande resultat.