Реалізація Зворотного Поширення Помилки

Загальний підхід

Під час прямого поширення кожен шар $l$ отримує на вхід вихідні значення попереднього шару, $a^{l-1}$, і обчислює власні виходи. Тому метод forward() класу Layer приймає вектор попередніх виходів як єдиний параметр, а вся інша необхідна інформація зберігається всередині класу.

Під час зворотного поширення кожному шару $l$ потрібен лише $da^l$ для обчислення відповідних градієнтів і повернення $da^{l-1}$, тому метод backward() приймає вектор $da^l$ як параметр. Вся інша необхідна інформація вже зберігається в класі Layer.

Похідні функцій активації

Оскільки для зворотного поширення потрібні похідні функцій активації, такі функції активації, як ReLU та sigmoid, слід реалізовувати у вигляді класів, а не окремих функцій. Така структура дозволяє чітко визначити обидва компоненти:

1. Сама функція активації — реалізується через метод __call__(), щоб її можна було застосовувати безпосередньо в класі Layer за допомогою self.activation(z);
2. Її похідна — реалізується через метод derivative(), що забезпечує ефективне обчислення під час зворотного поширення через self.activation.derivative(z).

Представлення функцій активації у вигляді об'єктів спрощує їх передачу різним шарам і динамічне застосування під час як прямого, так і зворотного поширення.

ReLu

Похідна функції активації ReLU виглядає наступним чином, де $z_i$ — це елемент вектора преактивацій $z$:

class ReLU:
    def __call__(self, z):
        return np.maximum(0, z)

    def derivative(self, z):
        return (z > 0).astype(float)

Сигмоїда

Похідна сигмоїдної функції активації має вигляд:

class Sigmoid:
    def __call__(self, x):
        return 1 / (1 + np.exp(-z))

    def derivative(self, z):
        sig = self(z)
        return sig * (1 - sig)

Для обох функцій активації операція застосовується до всього вектора $z$, а також до його похідної. NumPy автоматично виконує обчислення елементно, тобто кожен елемент вектора обробляється незалежно.

Наприклад, якщо вектор $z$ містить три елементи, похідна обчислюється так:

Метод backward()

Метод backward() відповідає за обчислення градієнтів за допомогою наступних формул:

a^{l-1} та $z^l$ зберігаються як атрибути inputs та outputs відповідно у класі Layer. Функція активації $f$ зберігається як атрибут activation.

Після обчислення всіх необхідних градієнтів можна оновити ваги та зміщення, оскільки вони більше не потрібні для подальших обчислень:

Таким чином, learning_rate ($\alpha$) є ще одним параметром цього методу.

def backward(self, da, learning_rate):
    dz = ...
    d_weights = ...
    d_biases = ...
    da_prev = ...

    self.weights -= learning_rate * d_weights
    self.biases -= learning_rate * d_biases

    return da_prev