Översikt av Artificiella Neurala Nätverk

Artificiella neurala nätverk (ANN) utgör grunden för modern generativ AI. De är utformade för att känna igen mönster, lära sig representationer och generera data som efterliknar verkliga fördelningar. Här ges en kortfattad och heltäckande översikt av ANN, med betoning på deras betydelse inom generativ AI.

Struktur hos neurala nätverk

Neuroner och lager

Ett neuralt nätverk består av sammankopplade enheter kallade neuroner, som är organiserade i lager:

• Ingångslager: tar emot rådata (t.ex. bilder, text, numeriska indata);
• Dolda lager: bearbetar och transformerar data med hjälp av viktade kopplingar;
• Utgångslager: genererar förutsägelser eller klassificeringar.

Varje neuron tillämpar en viktad summa på sina indata och skickar resultatet genom en aktiveringsfunktion:

Där:

• $x_i$ är indata;
• $\omega_i$ är vikter;
• $b$ är bias-termen;
• $z$ är den viktade summan som skickas till aktiveringsfunktionen.

Aktiveringsfunktioner

Aktiveringsfunktioner introducerar icke-linjäritet, vilket gör det möjligt för nätverk att lära sig komplexa mönster. Vanliga aktiveringsfunktioner inkluderar:

• Sigmoid, används för sannolikheter: $\sigma(z)=\dfrac{1}{1+e^{-z}}$

• ReLU (Rectified Linear Unit), vanligt förekommande i djupa nätverk: $f(z)=\max(0,z)$

• Tanh, användbar för utdata centrerade kring noll: $\tanh(z)=\dfrac{e^z-e^{-z}}{e^z+e^{-z}}$

Framåt- och bakåtriktad spridning

Framåtriktad spridning

Framåtriktad spridning avser att mata indata genom nätverket för att beräkna utdata. Varje neuron beräknar:

där $f(z)$ är aktiveringsfunktionen.

Backpropagation och gradientnedstigning

För att förbättra prediktioner justerar artificiella neurala nätverk vikterna med hjälp av backpropagation, vilket minimerar felet genom gradientnedstigning. Uppdateringsregeln för vikter i gradientnedstigning är:

Där:

• $\eta$ är inlärningshastigheten;
• $L$ är förlustfunktionen;
• $\frac{\partial L}{\partial \omega_i}$ är gradienten av förlusten med avseende på $\omega_i$.

Förlustfunktioner och träningsprocessen

Förlustfunktioner

Förlustfunktioner mäter skillnaden mellan förutsagda och faktiska värden. Vanliga förlustfunktioner inkluderar:

• Mean Squared Error (MSE) (för regression):

• Korsentropiförlust (för klassificering):

Där:

• $y_i$ är den sanna etiketten;
• $\hat{y}_i$ är den förutsagda sannolikheten.

Träningsprocess

1. Initiera vikter slumpmässigt;
2. Utför framåtpropagering för att beräkna prediktioner;
3. Beräkna förlusten med vald förlustfunktion;
4. Använd backpropagering för att beräkna viktuppdateringar;
5. Uppdatera vikter med gradientnedstigning;
6. Upprepa under flera epoker tills nätverket konvergerar.

Den universella approximationssatsen och djupinlärning

Universella approximationssatsen

Den universella approximationssatsen säger att ett neuralt nätverk med minst ett dolt lager kan approximera vilken kontinuerlig funktion som helst, givet tillräckligt många neuroner och lämpliga vikter. Detta motiverar varför ANN kan modellera mycket komplexa samband.

Djupinlärning och dess betydelse

Djupinlärning utökar ANN genom att lägga till många dolda lager, vilket gör det möjligt att:

• Extrahera hierarkiska egenskaper (användbart inom bildbehandling och NLP);
• Modellera komplexa sannolikhetsfördelningar (avgörande för generativ AI);
• Lära sig utan manuell egenskapsutvinning (som i självövervakad inlärning).

Slutsats

Detta kapitel introducerade de grundläggande principerna för artificiella neurala nätverk (ANN), med fokus på deras struktur, inlärningsprocess och betydelse inom djupinlärning. Dessa koncept utgör grunden för avancerade generativa AI-tekniker som GANs och VAEs, vilka använder neurala nätverk för att generera realistisk data.