Перцептрон — це назва найпростішої нейронної мережі, яка складається лише з одного нейрона. Однак для розв'язання складніших задач ми створимо модель під назвою багатошаровий перцептрон (MLP). Багатошаровий перцептрон складається з одного або декількох прихованих шарів. Структура багатошарового перцептрона виглядає так:

1. Вхідний шар: отримує вхідні дані;
2. Приховані шари: обробляють дані та виділяють закономірності.
3. Вихідний шар: формує остаточний прогноз або класифікацію.

Загалом кожен шар складається з декількох нейронів, а вихід одного шару стає входом для наступного.

Ваги та зсуви шару

Перед реалізацією шару важливо зрозуміти, як зберігати ваги та зсуви кожного нейрона в ньому. У попередньому розділі ви дізналися, як зберігати ваги одного нейрона у вигляді вектора, а його зсув — як скаляр (одне число).

Оскільки шар складається з декількох нейронів, природно представляти ваги у вигляді матриці, де кожен рядок відповідає вагам конкретного нейрона. Відповідно, зсуви можна представити як вектор, довжина якого дорівнює кількості нейронів.

Для шару з $3$ входами та $2$ нейронами його ваги зберігаються у $2 \times 3$ матриці $W$, а зсуви — у $2 \times 1$ векторі $b$, які мають такий вигляд:

Тут елемент $W_{ij}$ позначає вагу $j$-го входу до $i$-го нейрона, тобто перший рядок містить ваги першого нейрона, а другий рядок — ваги другого нейрона. Елемент $b_i$ позначає зсув $i$-го нейрона (два нейрони — два зсуви).

Пряме поширення

Виконання прямого поширення для кожного шару означає активацію кожного його нейрона шляхом обчислення зваженої суми вхідних даних, додавання зміщення та застосування активаційної функції.

Раніше для одного нейрона ви реалізували зважену суму вхідних даних, обчислюючи скалярний добуток між вектором входу та вектором ваг і додаючи зміщення.

Оскільки кожен рядок матриці ваг містить вектор ваг для певного нейрона, тепер потрібно просто виконати скалярний добуток між кожним рядком матриці та вхідним вектором. На щастя, саме це і виконує множення матриць:

Щоб додати зміщення до виходів відповідних нейронів, також слід додати вектор зміщень:

Нарешті, до результату застосовується активаційна функція — у нашому випадку sigmoid або ReLU. Остаточна формула для прямого поширення у шарі виглядає так:

де $a$ — це вектор активацій нейронів (виходів).

Клас Layer

Основними будівельними блоками перцептрона є його шари, тому доцільно створити окремий клас Layer. Його атрибути включають:

• inputs: вектор вхідних даних (n_inputs — кількість входів);
• outputs: вектор сирих вихідних значень (до застосування функції активації) нейронів (n_neurons — кількість нейронів);
• weights: матриця ваг;
• biases: вектор зсувів;
• activation_function: функція активації, що використовується в шарі.

Як і в реалізації одного нейрона, weights та biases ініціалізуються випадковими значеннями в діапазоні від -1 до 1, взятими з рівномірного розподілу.

class Layer:
    def __init__(self, n_inputs, n_neurons, activation_function):
        self.inputs = np.zeros((n_inputs, 1))
        self.outputs = np.zeros((n_neurons, 1))
        self.weights = ...
        self.biases = ...
        self.activation = activation_function

Атрибути inputs та outputs будуть використовуватися пізніше під час зворотного поширення помилки, тому доцільно ініціалізувати їх як масиви нулів NumPy.

Пряме поширення можна реалізувати у методі forward(), де outputs обчислюються на основі вектору inputs з використанням NumPy, відповідно до наведеної вище формули:

def forward(self, inputs):
    self.inputs = np.array(inputs).reshape(-1, 1)
    # Raw outputs
    self.outputs = ...
    # Applying the activation function
    return ...