For at opbygge en **multilagsperceptron (MLP)** er det nyttigt at definere en `Perceptron`-klasse. Den gemmer en liste af `Layer`-objekter, som udgør netværket:

```python
class Perceptron:
    def __init__(self, layers):
        self.layers = layers
```

MLP'en anvender tre værdier:

* `input_size`: antal inputfunktioner;
* `hidden_size`: antal neuroner i hvert skjult lag;
* `output_size`: antal neuroner i outputlaget.

Modellen består således af:

1. Et **inputlag**;
2. **To skjulte lag** (samme antal neuroner, ReLU);
3. Et **outputlag** (sigmoid).

import unittest
import importlib
import numpy as np


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


class TestPerceptron(unittest.TestCase):

    @classmethod
    def setUpClass(cls):
        cls.user_code = importlib.import_module("user_code")
        np.random.seed(10)

        cls.input_size = 2
        cls.hidden_size = 3
        cls.output_size = 1

        cls.perceptron = cls.user_code.perceptron
        cls.layers = cls.perceptron.layers

    def test_layers_structure(self):
        _dynamic_test(
            self,
            len(self.layers) == 3,
            "Three layers are defined",
            "Incorrect number of layers defined",
        )

    def test_weights_shapes(self):
        shapes = [layer.weights.shape for layer in self.layers]
        expected = [
            (self.hidden_size, self.input_size),
            (self.hidden_size, self.hidden_size),
            (self.output_size, self.hidden_size),
        ]
        _dynamic_test(
            self,
            shapes == expected,
            "Weights shapes are correct",
            f"Weights shapes are incorrect: got {shapes}, expected {expected}",
        )

    def test_biases_shapes(self):
        shapes = [layer.biases.shape for layer in self.layers]
        expected = [
            (self.hidden_size, 1),
            (self.hidden_size, 1),
            (self.output_size, 1),
        ]
        _dynamic_test(
            self,
            shapes == expected,
            "Bias shapes are correct",
            "Bias shapes are incorrect",
        )

    def test_weights_range(self):
        all_in_range = all(
            np.all((layer.weights >= -1) & (layer.weights < 1)) for layer in self.layers
        )
        _dynamic_test(
            self,
            all_in_range,
            "All weights are within [-1, 1)",
            "Weights are outside expected range",
        )

    def test_biases_range(self):
        all_in_range = all(
            np.all((layer.biases >= -1) & (layer.biases < 1)) for layer in self.layers
        )
        _dynamic_test(
            self,
            all_in_range,
            "All biases are within [-1, 1)",
            "Biases are outside expected range",
        )

    def test_third_neuron_weights_second_hidden_layer(self):
        w_user = np.round(self.layers[1].weights[2], 2)
        np.random.seed(10)
        _ = np.random.uniform(-1, 1, (self.hidden_size, self.input_size))
        _ = np.random.uniform(-1, 1, (self.hidden_size, 1))
        ref_w = np.random.uniform(-1, 1, (self.hidden_size, self.hidden_size))
        np.round(ref_w[2], 2)
        _dynamic_test(
            self,
            np.allclose(w_user, np.round(ref_w[2], 2), atol=1e-6),
            "Weights of 3rd neuron in 2nd hidden layer are correct",
            "Weights of 3rd neuron in 2nd hidden layer are incorrect",
        )

    def test_output_layer_weights(self):
        w_user = np.round(self.layers[2].weights[0], 2)
        np.random.seed(10)
        # Hidden layer 1: weights + biases
        np.random.uniform(-1, 1, (self.hidden_size, self.input_size))
        np.random.uniform(-1, 1, (self.hidden_size, 1))
        # Hidden layer 2: weights + biases
        np.random.uniform(-1, 1, (self.hidden_size, self.hidden_size))
        np.random.uniform(-1, 1, (self.hidden_size, 1))
        # Output layer weights
        ref_w = np.random.uniform(-1, 1, (self.output_size, self.hidden_size))
        _dynamic_test(
            self,
            np.allclose(w_user, np.round(ref_w[0], 2), atol=1e-6),
            "Weights of output neuron are correct",
            "Weights of output neuron are incorrect",
        )


if __name__ == "__main__":
    unittest.main(argv=["first-arg-is-ignored"], exit=False)


test_code.py

Neurale netværk er kraftfulde algoritmer inspireret af den menneskelige hjernes struktur, som anvendes til at løse komplekse maskinlæringsproblemer. Du vil konstruere dit eget neurale netværk fra bunden for at forstå dets funktion. Efter dette kursus vil du kunne oprette neurale netværk til løsning af klassifikations- og regressionsopgaver ved hjælp af scikit-learn-biblioteket.

Først vil vi diskutere, hvad et neuralt netværk er, og hvordan det fungerer. Vi vil også overveje anvendelsesområdet.

Herefter vil vi forsøge at opbygge vores eget neurale netværk og undersøge, hvor effektivt det håndterer læring. Vi vil også se på en færdig løsning fra scikit-learn-biblioteket.

Afslutningsvis vil vi give dig yderligere nyttig information om, hvordan du kan forstå, hvilken model der skal anvendes, samt hvilke typer neurale netværk der findes. For at afslutte kurset vil din tilegnede viden blive testet.

Udfordring: Oprettelse af en Perceptron

1. Initialisering af lagparametre (`init`)

2. Implementering af fremadpropagering (`forward`)

3. Definition af MLP-lag

Løsning

Udfordring: Oprettelse af en Perceptron

1. Initialisering af lagparametre (__init__)

2. Implementering af fremadpropagering (forward)

3. Definition af MLP-lag

Løsning

1. Initialisering af lagparametre (`init`)

2. Implementering af fremadpropagering (`forward`)