Oversigt over Kunstige Neurale Netværk

Kunstige neurale netværk (ANN'er) udgør rygraden i moderne Generativ AI. De er designet til at genkende mønstre, lære repræsentationer og generere data, der efterligner virkelige fordelinger. En kortfattet og omfattende oversigt over ANN'er med fokus på deres betydning for Generativ AI.

Struktur af neurale netværk

Neuroner og lag

Et neuralt netværk består af sammenkoblede enheder kaldet neuroner, som er organiseret i lag:

• Inputlag: modtager rå data (f.eks. billeder, tekst, numeriske input);
• Skjulte lag: behandler og transformerer data ved hjælp af vægtede forbindelser;
• Outputlag: genererer forudsigelser eller klassifikationer.

Hver neuron anvender en vægtet sum på sine input og sender resultatet gennem en aktiveringsfunktion:

hvor:

• $x_i$ er inputværdier;
• $\omega_i$ er vægte;
• $b$ er bias-termen;
• $z$ er den vægtede sum, der sendes til aktiveringsfunktionen.

Aktiveringsfunktioner

Aktiveringsfunktioner introducerer ikke-linearitet, hvilket gør det muligt for netværk at lære komplekse mønstre. Almindelige aktiveringsfunktioner inkluderer:

• Sigmoid, anvendt til sandsynligheder: $\sigma(z)=\dfrac{1}{1+e^{-z}}$

• ReLU (Rectified Linear Unit), ofte anvendt i dybe netværk: $f(z)=\max(0,z)$

• Tanh, nyttig til nulcentrerede output: $\tanh(z)=\dfrac{e^z-e^{-z}}{e^z+e^{-z}}$

Fremad- og bagudpropagering

Fremadpropagering

Fremadpropagering refererer til at sende input gennem netværket for at beregne output. Hver neuron beregner:

hvor $f(z)$ er aktiveringsfunktionen.

Backpropagation og gradientnedstigning

For at forbedre forudsigelser justerer kunstige neurale netværk vægte ved hjælp af backpropagation, som minimerer fejl ved hjælp af gradientnedstigning. Opdateringsreglen for vægte i gradientnedstigning er:

hvor:

• $\eta$ er indlæringsraten;
• $L$ er tabfunktionen;
• $\frac{\partial L}{\partial \omega_i}$ er gradienten af tabet med hensyn til $\omega_i$.

Tabfunktioner og træningsprocessen

Tabfunktioner

Tabfunktioner måler forskellen mellem forudsagte og faktiske værdier. Almindelige tabfunktioner omfatter:

• Mean Squared Error (MSE) (til regression):

• Krydsentropi-tab (til klassifikation):

hvor:

• $y_i$ er den sande etiket;
• $\hat{y}_i$ er den forudsagte sandsynlighed.

Træningsproces

1. Initialisering af vægte tilfældigt;
2. Udførelse af fremadpropagering for at beregne forudsigelser;
3. Beregning af tab ved hjælp af den valgte tab-funktion;
4. Anvendelse af backpropagation for at beregne vægtopdateringer;
5. Opdatering af vægte ved hjælp af gradient descent;
6. Gentagelse i flere epoker indtil netværket konvergerer.

Sætningen om Universel Approksimation og Deep Learning

Sætningen om Universel Approksimation

Sætningen om Universel Approksimation fastslår, at et neuralt netværk med mindst ét skjult lag kan approksimere enhver kontinuert funktion, givet tilstrækkeligt mange neuroner og passende vægte. Dette forklarer, hvorfor kunstige neurale netværk kan modellere meget komplekse sammenhænge.

Deep Learning og dets betydning

Deep Learning udvider kunstige neurale netværk ved at tilføje mange skjulte lag, hvilket gør det muligt at:

• Udtrække hierarkiske træk (nyttigt i billedbehandling og NLP);
• Modellere komplekse sandsynlighedsfordelinger (vigtigt for Generativ AI);
• Lære uden manuel feature engineering (som set i selv-superviseret læring).

Konklusion

Dette kapitel introducerede de grundlæggende principper for kunstige neurale netværk (ANN), med fokus på deres struktur, læringsproces og betydning inden for dyb læring. Disse koncepter danner grundlaget for avancerede generative AI-teknikker som GANs og VAEs, der benytter neurale netværk til at generere realistiske data.