Konvolutionella neurala nätverk (CNNs) har utvecklats avsevärt, med olika arkitekturer som förbättrar noggrannhet, effektivitet och skalbarhet. Detta kapitel utforskar fem centrala CNN-modeller som har format djupinlärning: LeNet, AlexNet, VGGNet, ResNet och InceptionNet.

LeNet: Grunden för CNNs

En av de första konvolutionella neurala nätverksarkitekturerna, föreslagen av Yann LeCun 1998 för handskriven sifferigenkänning. Den lade grunden för moderna CNNs genom att introducera viktiga komponenter som konvolutioner, pooling och helt anslutna lager. Du kan läsa mer om modellen i dokumentationen.

Viktiga arkitekturella egenskaper

AlexNet: Genombrott inom djupinlärning

En banbrytande CNN-arkitektur som vann ImageNet-tävlingen 2012. AlexNet visade att djupa konvolutionella nätverk kunde överträffa traditionella maskininlärningsmetoder vid storskalig bildklassificering. Den introducerade innovationer som blev standard inom modern djupinlärning. Mer information om modellen finns i dokumentationen.

Viktiga arkitekturella egenskaper

VGGNet: Djupare nätverk med enhetliga filter

Utvecklad av Visual Geometry Group vid Oxford, VGGNet betonade djup och enkelhet genom att använda enhetliga 3×3-konvolutionsfilter. Den visade att stapling av små filter i djupa nätverk avsevärt kunde förbättra prestandan, vilket ledde till allmänt använda varianter som VGG-16 och VGG-19. Mer information om modellen finns i dokumentationen.

Viktiga arkitekturegenskaper

ResNet: Lösning på djuphetsproblemet

ResNet (Residual Networks), introducerat av Microsoft 2015, adresserade problemet med försvinnande gradient, vilket uppstår vid träning av mycket djupa nätverk. Traditionella djupa nätverk har svårt med träningseffektivitet och prestandaförsämring, men ResNet övervann detta med hjälp av skip connections (residuellt lärande). Dessa genvägar tillåter information att kringgå vissa lager, vilket säkerställer att gradienterna fortsätter att propagera effektivt. ResNet-arkitekturer, såsom ResNet-50 och ResNet-101, möjliggjorde träning av nätverk med hundratals lager och förbättrade därmed bildklassificeringsnoggrannheten avsevärt. Du kan läsa mer om modellen i dokumentationen.

Viktiga arkitekturegenskaper

InceptionNet: Multiskalig funktionsutvinning

InceptionNet (även känd som GoogLeNet) bygger på inception-modulen för att skapa en djup men effektiv arkitektur. Istället för att stapla lager sekventiellt använder InceptionNet parallella vägar för att extrahera funktioner på olika nivåer. Du kan läsa mer om modellen i dokumentationen.

Centrala optimeringar inkluderar:

• Faktorerade konvolutioner för att minska beräkningskostnaden;

• Hjälpklassificerare i mellanliggande lager för att förbättra träningsstabiliteten;

• Global medelpooling istället för helt anslutna lager, vilket minskar antalet parametrar samtidigt som prestandan bibehålls.

Denna struktur gör det möjligt för InceptionNet att vara djupare än tidigare CNN:er som VGG, utan att drastiskt öka beräkningskraven.

Viktiga arkitekturegenskaper

Inception-modul

Inception-modulen är kärnkomponenten i InceptionNet, utformad för att effektivt fånga funktioner på flera skalor. Istället för att använda en enda konvolutionsoperation bearbetar modulen inmatningen med flera filterstorlekar (1×1, 3×3, 5×5) parallellt. Detta gör att nätverket kan känna igen både fina detaljer och stora mönster i en bild.

För att minska beräkningskostnaden används 1×1 convolutions innan större filter appliceras. Dessa minskar antalet inmatningskanaler, vilket gör nätverket mer effektivt. Dessutom hjälper maxpooling-lager inom modulen till att behålla viktiga funktioner samtidigt som dimensionsstorleken kontrolleras.

Exempel

Tänk på ett exempel för att se hur dimensionreduktion minskar beräkningsbelastningen. Antag att vi behöver konvolvera 28 × 28 × 192 input feature maps med 5 × 5 × 32 filters. Denna operation skulle kräva ungefär 120,42 miljoner beräkningar.

Låt oss utföra beräkningarna igen, men denna gång placera ett 1×1 convolutional layer före tillämpningen av 5×5 convolution på samma input feature maps.

Var och en av dessa CNN-arkitekturer har spelat en avgörande roll i utvecklingen av datorseende och påverkat tillämpningar inom hälso- och sjukvård, autonoma system, säkerhet och bildbehandling i realtid. Från LeNet:s grundläggande principer till InceptionNet:s multiskaliga feature-extraktion har dessa modeller kontinuerligt drivit gränserna för djupinlärning och banat väg för ännu mer avancerade arkitekturer i framtiden.