Oversigt over Kunstige Neurale Netværk

Kunstige neurale netværk (ANNs) udgør grundlaget for moderne Generativ AI. De er designet til at genkende mønstre, lære repræsentationer og generere data, der efterligner virkelige fordelinger. Du får et kortfattet og dækkende overblik over ANNs med fokus på deres betydning inden for Generativ AI.

Struktur af neurale netværk

Neuroner og lag

Et neuralt netværk består af sammenkoblede enheder kaldet neuroner, som er organiseret i lag:

Inputlag: modtager rå data (f.eks. billeder, tekst, numeriske input);
Skjulte lag: behandler og transformerer data ved hjælp af vægtede forbindelser;
Outputlag: leverer forudsigelser eller klassifikationer.

Hver neuron anvender en vægtet sum på sine input og sender resultatet gennem en aktiveringsfunktion:

z=\sum^n_{i=1}\omega_ix_i+b

hvor:

$x_i$ er inputværdier;
$\omega_i$ er vægte;
$b$ er bias-termen;
$z$ er den vægtede sum, der sendes til aktiveringsfunktionen.

Aktiveringsfunktioner

Aktiveringsfunktioner introducerer ikke-linearitet, hvilket gør det muligt for netværk at lære komplekse mønstre. Almindelige aktiveringsfunktioner omfatter:

Sigmoid, anvendt til sandsynligheder: $\sigma(z)=\dfrac{1}{1+e^{-z}}$

ReLU (Rectified Linear Unit), ofte anvendt i dybe netværk: $f(z)=\max(0,z)$

Tanh, nyttig for nulcentrerede output: $\tanh(z)=\dfrac{e^z-e^{-z}}{e^z+e^{-z}}$

Fremad- og bagudpropagering

Fremadpropagering

Fremadpropagering refererer til at sende input gennem netværket for at beregne output. Hver neuron beregner:

a=f(z)=f\left( \sum^n_{i=1}\omega_i x_i + b \right)

hvor $f(z)$ er aktiveringsfunktionen.

Bagudpropagering og gradientnedstigning

For at forbedre forudsigelser justerer kunstige neurale netværk vægte ved hjælp af bagudpropagering, som minimerer fejl ved hjælp af gradientnedstigning. Opdateringsreglen for vægte i gradientnedstigning er:

\omega^{(t+1)}_i=\omega^{(t)}_i - \eta *\frac{\partial L}{\partial \omega_i}

hvor:

$\eta$ er indlæringsraten;
$L$ er tabfunktionen;
$\frac{\partial L}{\partial \omega_i}$ er gradienten af tabet med hensyn til $\omega_i$ .

Tabfunktioner og træningsproces

Tabfunktioner

Tabfunktioner måler forskellen mellem forudsagte og faktiske værdier. Almindelige tabfunktioner omfatter:

Mean Squared Error (MSE) (til regression):

\text{MSE}=\frac{1}{n}\sum^n_{i=1}(y_i-\hat{y}_i^2)

Krydsetab (Cross-Entropy Loss) (til klassifikation):

\text{L}=-\sum^n_{i=1}y_i\log(\hat{y}_i)

hvor:

$y_i$ er den sande etiket;
$\hat{y}_i$ er den forudsagte sandsynlighed.

Træningsproces

Initialisering af vægte tilfældigt;
Udfør fremadpropagering for at beregne forudsigelser;
Beregn tabet ved hjælp af den valgte tabfunktion;
Brug backpropagation til at beregne vægtopdateringer;
Opdater vægte ved hjælp af gradientnedstigning;
Gentag i flere epoker indtil netværket konvergerer.

Den universelle approksimationsteorem og dyb læring

Universel approksimationsteorem

Den universelle approksimationsteorem fastslår, at et neuralt netværk med mindst ét skjult lag kan approksimere enhver kontinuert funktion, forudsat tilstrækkeligt antal neuroner og passende vægte. Dette forklarer, hvorfor kunstige neurale netværk kan modellere meget komplekse sammenhænge.

Dyb læring og dens betydning

Dyb læring udvider kunstige neurale netværk ved at tilføje mange skjulte lag, hvilket gør det muligt at:

Udtrække hierarkiske træk (nyttigt i billedbehandling og NLP);
Modellere komplekse sandsynlighedsfordelinger (afgørende for generativ AI);
Lære uden manuel feature engineering (som set i selv-superviseret læring).

Konklusion

Dette kapitel introducerede de grundlæggende principper for kunstige neurale netværk med fokus på deres struktur, læringsproces og betydning inden for dyb læring. Disse koncepter danner grundlaget for avancerede generative AI-teknikker som GANs og VAEs, der benytter neurale netværk til at generere realistiske data.

1. Hvilket af følgende er IKKE en komponent i et kunstigt neuralt netværk?

2. Hvad er det primære formål med backpropagation i neurale netværk?

3. Universal Approximation Theorem fastslår, at et tilstrækkeligt stort neuralt netværk kan tilnærme hvilken af følgende?

Hvilket af følgende er IKKE en komponent i et kunstigt neuralt netværk?

Select the correct answer

Neuroner

Lag

Aktiveringsfunktioner

Datakomprimering

Hvad er det primære formål med backpropagation i neurale netværk?

Select the correct answer

At initialisere det neurale netværk

At opdatere vægte ved at minimere tab

At øge størrelsen på netværket

At udføre fremadpropagering

Universal Approximation Theorem fastslår, at et tilstrækkeligt stort neuralt netværk kan tilnærme hvilken af følgende?

Select the correct answer

Enhver kontinuert funktion

Enhver diskret funktion

Kun lineære funktioner

Kun polynomielle funktioner

Var alt klart?

Hvordan kan vi forbedre det?

Tak for dine kommentarer!

Sektion 2. Kapitel 4

Spørg AI

Spørg om hvad som helst eller prøv et af de foreslåede spørgsmål for at starte vores chat

Suggested prompts:

What are some real-world applications of ANNs in Generative AI?

Can you explain how backpropagation works in more detail?

How do activation functions affect the performance of a neural network?

Awesome!

Completion rate improved to 4.76

Oversigt over Kunstige Neurale Netværk

Stryg for at vise menuen

Struktur af neurale netværk

Neuroner og lag

Et neuralt netværk består af sammenkoblede enheder kaldet neuroner, som er organiseret i lag:

Inputlag: modtager rå data (f.eks. billeder, tekst, numeriske input);
Skjulte lag: behandler og transformerer data ved hjælp af vægtede forbindelser;
Outputlag: leverer forudsigelser eller klassifikationer.

Hver neuron anvender en vægtet sum på sine input og sender resultatet gennem en aktiveringsfunktion:

z=\sum^n_{i=1}\omega_ix_i+b

hvor:

$x_i$ er inputværdier;
$\omega_i$ er vægte;
$b$ er bias-termen;
$z$ er den vægtede sum, der sendes til aktiveringsfunktionen.

Aktiveringsfunktioner

Aktiveringsfunktioner introducerer ikke-linearitet, hvilket gør det muligt for netværk at lære komplekse mønstre. Almindelige aktiveringsfunktioner omfatter:

Sigmoid, anvendt til sandsynligheder: $\sigma(z)=\dfrac{1}{1+e^{-z}}$

ReLU (Rectified Linear Unit), ofte anvendt i dybe netværk: $f(z)=\max(0,z)$

Tanh, nyttig for nulcentrerede output: $\tanh(z)=\dfrac{e^z-e^{-z}}{e^z+e^{-z}}$

Fremad- og bagudpropagering

Fremadpropagering

Fremadpropagering refererer til at sende input gennem netværket for at beregne output. Hver neuron beregner:

a=f(z)=f\left( \sum^n_{i=1}\omega_i x_i + b \right)

hvor $f(z)$ er aktiveringsfunktionen.

Bagudpropagering og gradientnedstigning

\omega^{(t+1)}_i=\omega^{(t)}_i - \eta *\frac{\partial L}{\partial \omega_i}

hvor:

$\eta$ er indlæringsraten;
$L$ er tabfunktionen;
$\frac{\partial L}{\partial \omega_i}$ er gradienten af tabet med hensyn til $\omega_i$ .

Tabfunktioner og træningsproces

Tabfunktioner

Tabfunktioner måler forskellen mellem forudsagte og faktiske værdier. Almindelige tabfunktioner omfatter:

Mean Squared Error (MSE) (til regression):

\text{MSE}=\frac{1}{n}\sum^n_{i=1}(y_i-\hat{y}_i^2)

Krydsetab (Cross-Entropy Loss) (til klassifikation):

\text{L}=-\sum^n_{i=1}y_i\log(\hat{y}_i)

hvor:

$y_i$ er den sande etiket;
$\hat{y}_i$ er den forudsagte sandsynlighed.

Træningsproces

Initialisering af vægte tilfældigt;
Udfør fremadpropagering for at beregne forudsigelser;
Beregn tabet ved hjælp af den valgte tabfunktion;
Brug backpropagation til at beregne vægtopdateringer;
Opdater vægte ved hjælp af gradientnedstigning;
Gentag i flere epoker indtil netværket konvergerer.

Den universelle approksimationsteorem og dyb læring

Universel approksimationsteorem

Dyb læring og dens betydning

Dyb læring udvider kunstige neurale netværk ved at tilføje mange skjulte lag, hvilket gør det muligt at:

Udtrække hierarkiske træk (nyttigt i billedbehandling og NLP);
Modellere komplekse sandsynlighedsfordelinger (afgørende for generativ AI);
Lære uden manuel feature engineering (som set i selv-superviseret læring).

Konklusion

1. Hvilket af følgende er IKKE en komponent i et kunstigt neuralt netværk?

2. Hvad er det primære formål med backpropagation i neurale netværk?

3. Universal Approximation Theorem fastslår, at et tilstrækkeligt stort neuralt netværk kan tilnærme hvilken af følgende?

Hvilket af følgende er IKKE en komponent i et kunstigt neuralt netværk?

Select the correct answer

Neuroner

Lag

Aktiveringsfunktioner

Datakomprimering

Hvad er det primære formål med backpropagation i neurale netværk?

Select the correct answer

At initialisere det neurale netværk

At opdatere vægte ved at minimere tab

At øge størrelsen på netværket

At udføre fremadpropagering

Universal Approximation Theorem fastslår, at et tilstrækkeligt stort neuralt netværk kan tilnærme hvilken af følgende?

Select the correct answer

Enhver kontinuert funktion

Enhver diskret funktion

Kun lineære funktioner

Kun polynomielle funktioner

Var alt klart?

Hvordan kan vi forbedre det?

Tak for dine kommentarer!

Sektion 2. Kapitel 4