Перцептрон — це найпростіша нейронна мережа, що складається лише з одного нейрона. Для розв’язання складніших задач використовують багатошаровий перцептрон (MLP), який містить одну або більше прихованих шарів, що дозволяють мережі вивчати складніші закономірності.

MLP складається з:

1. Вхідного шару — отримує дані;
2. Прихованих шарів — виділяють закономірності;
3. Вихідного шару — формує передбачення.

Кожен шар містить декілька нейронів; вихід одного шару стає входом для наступного.

Ваги та зсуви шару

Раніше нейрон зберігав свої ваги у вигляді вектора, а зсув — як скаляр. Шар, однак, містить багато нейронів, тому його ваги утворюють матрицю, де кожен рядок містить ваги одного нейрона. Зсуви для всіх нейронів формують вектор.

Для шару з 3 входами та 2 нейронами:

Тут $W_{ij}$ — вага від $j$-го входу до $i$-го нейрона; $b_i$ — зсув нейрона $i$.

Пряме поширення

Пряме поширення активує кожен нейрон шляхом обчислення зваженої суми, додавання зсуву та застосування активаційної функції.

Раніше один нейрон використовував:

[ z = W \cdot x + b ]

Тепер, оскільки кожен рядок (W) — це вектор ваг одного нейрона, виконання матричного множення між матрицею ваг і вектором входу автоматично обчислює зважені суми для всіх нейронів одночасно.

Щоб додати зсуви до виходів відповідних нейронів, також слід додати вектор зсувів:

Нарешті, до результату застосовується функція активації — у нашому випадку sigmoid або ReLU. Підсумкова формула для прямого поширення у шарі виглядає так:

де $a$ — вектор активацій нейронів (виходів).

Клас Layer

Оскільки MLP складаються з шарів, визначаємо окремий клас Layer. Його атрибути:

• inputs: вектор вхідних даних (елементів n_inputs);
• outputs: необроблені виходи нейронів (елементів n_neurons);
• weights: матриця ваг;
• biases: вектор зсувів;
• activation_function: функція активації, що використовується у шарі.

Ваги та зсуви ініціалізуються випадковими значеннями з рівномірного розподілу в ([-1, 1]). inputs та outputs ініціалізуються як заповнені нулями масиви NumPy для забезпечення коректних розмірностей під час подальшого зворотного поширення.

class Layer:
    def __init__(self, n_inputs, n_neurons, activation_function):
        self.inputs = np.zeros((n_inputs, 1))
        self.outputs = np.zeros((n_neurons, 1))
        self.weights = ...
        self.biases = ...
        self.activation = activation_function

Метод Forward

Пряме поширення для шару обчислює сирі вихідні значення та застосовує активацію:

def forward(self, inputs):
    self.inputs = np.array(inputs).reshape(-1, 1)
    # Raw outputs: weighted sum + bias
    self.outputs = ...
    # Apply activation
    return ...

Перетворення вхідних даних у стовпчиковий вектор гарантує правильне множення з матрицею ваг і відповідність очікуваним розмірам у мережі.