Шари Перцептрона

Перцептрон — найпростіша нейронна мережа, що складається лише з одного нейрона. Для складніших завдань використовується багатошаровий перцептрон (MLP), який містить один або декілька прихованих шарів, що дозволяють мережі вивчати складніші закономірності.

MLP складається з:

1. Вхідний шар — отримує дані;
2. Приховані шари — виділяють закономірності;
3. Вихідний шар — формує передбачення.

Кожен шар містить декілька нейронів; вихід одного шару стає входом наступного.

Ваги та зсуви шару

Раніше нейрон зберігав свої ваги у вигляді вектора, а зсув — як скаляр. Шар, однак, містить багато нейронів, тому його ваги стають матрицею, де кожен рядок містить ваги одного нейрона. Зсуви для всіх нейронів утворюють вектор.

Для шару з 3 входами та 2 нейронами:

Тут $W_{ij}$ — вага від $j$-го входу до $i$-го нейрона; $b_i$ — зсув нейрона $i$.

Пряме поширення

Пряме поширення активує кожен нейрон шляхом обчислення зваженої суми, додавання зсуву та застосування функції активації.

Раніше один нейрон використовував:

[ z = W \cdot x + b ]

Тепер, оскільки кожен рядок (W) є вектором ваг одного нейрона, виконання матричного множення між матрицею ваг і вектором входу автоматично обчислює зважені суми для всіх нейронів одночасно.

Щоб додати зсуви до виходів відповідних нейронів, також слід додати вектор зсувів:

Нарешті, до результату застосовується функція активації — sigmoid або ReLU у нашому випадку. Підсумкова формула прямого поширення в шарі має вигляд:

де $a$ — вектор активацій нейронів (виходів).

Клас Layer

Оскільки багатошарові перцептрони (MLP) складаються з шарів, визначається окремий клас Layer. Його атрибути:

• inputs: вектор вхідних даних (елементів n_inputs);
• outputs: необроблені виходи нейронів (елементів n_neurons);
• weights: матриця ваг;
• biases: вектор зсувів;
• activation_function: функція активації, що використовується в шарі.

Ваги та зсуви ініціалізуються випадковими значеннями з рівномірного розподілу в інтервалі ([-1, 1]). inputs та outputs ініціалізуються як масиви NumPy, заповнені нулями, щоб забезпечити узгоджені форми для подальшого зворотного поширення.

class Layer:
    def __init__(self, n_inputs, n_neurons, activation_function):
        self.inputs = np.zeros((n_inputs, 1))
        self.outputs = np.zeros((n_neurons, 1))
        self.weights = ...
        self.biases = ...
        self.activation = activation_function

Метод Forward

Пряме поширення для шару обчислює необроблені виходи та застосовує активацію:

def forward(self, inputs):
    self.inputs = np.array(inputs).reshape(-1, 1)
    # Raw outputs: weighted sum + bias
    self.outputs = ...
    # Apply activation
    return ...

Перетворення вхідних даних у стовпчиковий вектор гарантує правильне множення з матрицею ваг і відповідність очікуваним розмірам у всій мережі.