Вивчайте Шари Перцептрона

Свайпніть щоб показати меню

Перцептрон — це найпростіша нейронна мережа, що складається лише з одного нейрона. Для розв’язання складніших задач використовують багатошаровий перцептрон (MLP), який містить одну або більше прихованих шарів, що дозволяють мережі вивчати складніші закономірності.

MLP складається з:

Вхідного шару — отримує дані;
Прихованих шарів — виділяють закономірності;
Вихідного шару — формує передбачення.

Кожен шар містить декілька нейронів; вихід одного шару стає входом наступного.

Ваги та зсуви шару

Раніше нейрон зберігав свої ваги у вигляді вектора, а зсув — як скаляр. Однак шар містить багато нейронів, тому його ваги утворюють матрицю, де кожен рядок містить ваги одного нейрона. Зсуви для всіх нейронів формують вектор.

Для шару з 3 входами та 2 нейронами:

W=\begin{bmatrix} W_{11} & W_{12} & W_{13} \\ W_{21} & W_{22} & W_{23} \end{bmatrix}, \qquad b=\begin{bmatrix} b_1 \\ b_2 \end{bmatrix}

Тут $W_{ij}$ — вага від $j$ -го входу до $i$ -го нейрона; $b_i$ — зсув нейрона $i$ .

Пряме поширення

Під час прямого поширення кожен нейрон активується шляхом обчислення зваженої суми, додавання зсуву та застосування активаційної функції.

Раніше один нейрон використовував:

[ z = W \cdot x + b ]

Тепер, оскільки кожен рядок (W) — це вектор ваг одного нейрона, виконання матричного множення між матрицею ваг і вектором входу автоматично обчислює зважені суми для всіх нейронів одночасно.

Щоб додати зсуви до виходів відповідних нейронів, також слід додати вектор зсувів:

Нарешті, до результату застосовується функція активації — sigmoid або ReLU у нашому випадку. Остаточна формула прямого поширення у шарі виглядає так:

a = activation(Wx + b)

де $a$ — вектор активацій нейронів (виходів).

Клас Layer

Оскільки MLP складаються з шарів, визначаємо окремий клас Layer. Його атрибути:

inputs: вектор вхідних даних (n_inputs елементів);
outputs: необроблені виходи нейронів (n_neurons елементів);
weights: матриця ваг;
biases: вектор зсувів;
activation_function: функція активації, що використовується у шарі.

Ваги та зсуви ініціалізуються випадковими значеннями з рівномірного розподілу в ([-1, 1]). inputs та outputs ініціалізуються як заповнені нулями масиви NumPy для забезпечення коректних форм під час подальшого зворотного поширення.

class Layer:
    def __init__(self, n_inputs, n_neurons, activation_function):
        self.inputs = np.zeros((n_inputs, 1))
        self.outputs = np.zeros((n_neurons, 1))
        self.weights = ...
        self.biases = ...
        self.activation = activation_function

Примітка

Ініціалізація inputs та outputs нулями запобігає помилкам форми та забезпечує узгодженість шарів під час прямого та зворотного проходів.

Метод Forward

Пряме поширення для шару обчислює сирі виходи та застосовує активацію:

def forward(self, inputs):
    self.inputs = np.array(inputs).reshape(-1, 1)
    # Raw outputs: weighted sum + bias
    self.outputs = ...
    # Apply activation
    return ...

Перетворення вхідних даних у стовпчиковий вектор гарантує правильне множення з матрицею ваг і відповідність очікуваним розмірам упродовж всієї мережі.

Примітка

За бажанням можу ще більше скоротити цей матеріал, створити діаграму структури шару або згенерувати повний робочий код для класу Layer.