Neurala nätverk har revolutionerat området maskininlärning och AI, och erbjuder lösningar på problem som tidigare ansågs vara utmanande eller till och med olösliga. Det finns många arkitekturer för neurala nätverk, var och en anpassad för specifika typer av uppgifter.

Feedforward-neurala nätverk (FNN) eller flerskiktsperceptroner (MLP)

Detta är en klassisk NN-arkitektur, en direkt utvidgning av enkel-lagersperceptronen till flera lager. Dessa är de grundläggande arkitekturerna som de flesta andra typer av neurala nätverk bygger på. Det är den arkitektur som vi har behandlat i denna kurs.

Konvolutionella neurala nätverk (CNN)

CNN är särskilt kraftfulla för uppgifter som bildbehandling (problem som bildklassificering, bildsegmentering, etc.) eftersom de är utformade för att automatiskt och adaptivt lära sig spatiala hierarkier av egenskaper.

De använder konvolutionella lager för att filtrera indata efter användbar information. Dessa konvolutionella lager kan fånga spatiala egenskaper hos en bild såsom kanter, hörn, texturer, etc. Även om deras största framgång har varit inom bildklassificering, har de även andra tillämpningar.

Rekurrenta neurala nätverk (RNN)

RNN:er har slingor som möjliggör informationspersistens. Till skillnad från framåtriktade neurala nätverk kan RNN:er använda sitt interna tillstånd (minne) för att bearbeta sekvenser av indata, vilket gör dem mycket användbara för tidsserier eller sekventiell data. De används i stor utsträckning för sekvensprediktionsproblem, såsom naturlig språkbehandling eller taligenkänning.

Varianter av RNN:er

1. Long short-term memory (LSTM): löser problemet med försvinnande gradienter i RNN:er, vilket gör det lättare att lära sig från långsiktiga beroenden;
2. Gated recurrent units (GRU): en enklare och mer effektiv variant av LSTM. Dock lär den sig komplexa mönster i data sämre än LSTM.

Bibliotek för djupinlärning

Träning av djupa neurala nätverk kräver mer än vad det klassiska maskininlärningsbiblioteket scikit-learn erbjuder. De mest använda biblioteken för att arbeta med djupa neurala nätverk är TensorFlow och PyTorch. Här är de främsta anledningarna till att de föredras för denna uppgift:

1. Prestanda och skalbarhet: TensorFlow och PyTorch är särskilt utformade för att träna modeller på stora datamängder och kan köras effektivt på grafikprocessorer (GPU:er), vilket snabbar upp träningen;

2. Flexibilitet: till skillnad från scikit-learn tillåter TensorFlow och PyTorch att skapa godtyckliga neurala nätverksarkitekturer, inklusive rekurrenta, konvolutionella och transformerstrukturer;

3. Automatisk differentiering: en av de viktigaste funktionerna i dessa bibliotek är möjligheten att automatiskt beräkna gradienter, vilket är avgörande för att optimera vikter i neurala nätverk.