Översikt över Populära CNN-modeller

Konvolutionella neurala nätverk (CNNs) har utvecklats avsevärt, med olika arkitekturer som förbättrar noggrannhet, effektivitet och skalbarhet. Detta kapitel utforskar fem centrala CNN-modeller som har format djupinlärning: LeNet, AlexNet, VGGNet, ResNet och InceptionNet.

LeNet: Grunden för CNNs

En av de första konvolutionella neurala nätverksarkitekturerna, föreslagen av Yann LeCun 1998 för handskriven sifferigenkänning. Den lade grunden för moderna CNNs genom att introducera viktiga komponenter såsom konvolutioner, pooling och fullt anslutna lager. Du kan läsa mer om modellen i dokumentationen.

Viktiga arkitekturella egenskaper

AlexNet: Genombrott inom djupinlärning

En banbrytande CNN-arkitektur som vann ImageNet-tävlingen 2012. AlexNet visade att djupa konvolutionella nätverk kunde överträffa traditionella maskininlärningsmetoder vid storskalig bildklassificering. Modellen introducerade innovationer som blev standard inom modern djupinlärning. Mer information om modellen finns i dokumentationen.

Viktiga arkitekturella egenskaper

VGGNet: Djupare nätverk med enhetliga filter

Utvecklat av Visual Geometry Group vid Oxford, betonade VGGNet djup och enkelhet genom att använda enhetliga 3×3-konvolutionsfilter. Det visade att stapling av små filter i djupa nätverk avsevärt kunde förbättra prestandan, vilket ledde till allmänt använda varianter som VGG-16 och VGG-19. Du kan läsa mer om modellen i dokumentationen.

Viktiga arkitekturella egenskaper

ResNet: Lösning på djuphetsproblemet

ResNet (Residual Networks), introducerat av Microsoft 2015, adresserade problemet med försvinnande gradient, vilket uppstår vid träning av mycket djupa nätverk. Traditionella djupa nätverk har svårt med träningseffektivitet och prestandaförsämring, men ResNet övervann detta problem med skip connections (residuellt lärande). Dessa genvägar tillåter information att kringgå vissa lager, vilket säkerställer att gradienter fortsätter att propagera effektivt. ResNet-arkitekturer, såsom ResNet-50 och ResNet-101, möjliggjorde träning av nätverk med hundratals lager och förbättrade bildklassificeringsnoggrannheten avsevärt. Du kan läsa mer om modellen i dokumentationen.

Viktiga arkitekturella egenskaper

InceptionNet: Multiskalig funktionsutvinning

InceptionNet (även känd som GoogLeNet) bygger vidare på inception-modulen för att skapa en djup men effektiv arkitektur. Istället för att stapla lager sekventiellt använder InceptionNet parallella vägar för att extrahera funktioner på olika nivåer. Mer information om modellen finns i dokumentationen.

Centrala optimeringar inkluderar:

• Faktorerade konvolutioner för att minska beräkningskostnaden;
• Hjälpklassificerare i mellanliggande lager för att förbättra träningsstabiliteten;
• Global medelpoolning istället för helt anslutna lager, vilket minskar antalet parametrar samtidigt som prestandan bibehålls.

Denna struktur gör det möjligt för InceptionNet att vara djupare än tidigare CNN-modeller som VGG, utan att drastiskt öka beräkningskraven.

Viktiga arkitekturegenskaper

Inception-modul

Inception-modulen är kärnkomponenten i InceptionNet, utformad för att effektivt fånga egenskaper på flera skalor. Istället för att använda en enda konvolutionsoperation, bearbetar modulen indata med flera filterstorlekar (1×1, 3×3, 5×5) parallellt. Detta gör det möjligt för nätverket att identifiera både fina detaljer och stora mönster i en bild.

För att minska beräkningskostnaden används 1×1 convolutions innan större filter appliceras. Dessa minskar antalet inkanaler, vilket gör nätverket mer effektivt. Dessutom hjälper maxpooling-lager inom modulen till att bevara viktiga egenskaper samtidigt som dimensionsstorleken kontrolleras.

Exempel

Betrakta ett exempel för att se hur minskning av dimensioner minskar den beräkningsmässiga belastningen. Antag att vi behöver konvolvera 28 × 28 × 192 input feature maps med 5 × 5 × 32 filters. Denna operation skulle kräva ungefär 120,42 miljoner beräkningar.

Vi utför beräkningarna igen, men denna gång placerar vi ett 1×1 convolutional layer före tillämpningen av 5×5 convolution på samma indata-funktionskartor.

Var och en av dessa CNN-arkitekturer har spelat en avgörande roll i utvecklingen av datorseende och påverkat tillämpningar inom hälso- och sjukvård, autonoma system, säkerhet och bildbehandling i realtid. Från LeNets grundläggande principer till InceptionNets multiskaliga funktionsutvinning har dessa modeller ständigt drivit gränserna för djupinlärning och banat väg för ännu mer avancerade arkitekturer i framtiden.