バックプロパゲーション実装

一般的なアプローチ

順伝播では、各層 $l$ が前の層の出力 $a^{l-1}$ を入力として受け取り、自身の出力を計算。したがって、forward() クラスの Layer メソッドは、前の出力ベクトルのみをパラメータとして受け取り、その他の必要な情報はクラス内に保持。

逆伝播では、各層 $l$ は $da^l$ のみを使って勾配を計算し、$da^{l-1}$ を返す。そのため、backward() メソッドは $da^l$ ベクトルをパラメータとして受け取り、その他の必要な情報は Layer クラス内にすでに保存されている。

活性化関数の導関数

活性化関数の導関数は逆伝播で必要となるため、ReLU や sigmoid などの活性化関数は、単独の関数ではなくクラスとして実装することが推奨。この構造により、両方の要素を明確に定義可能：

1. 活性化関数本体 — __call__() メソッドで実装し、Layer クラス内で self.activation(z) のように直接適用可能；
2. その導関数 — derivative() メソッドで実装し、逆伝播時に self.activation.derivative(z) で効率的に計算可能。

活性化関数をオブジェクトとして表現することで、異なる層への受け渡しや、順伝播・逆伝播の両方で動的に適用しやすくなる。

ReLu

ReLU活性化関数の導関数は以下の通りであり、$z_i$は事前活性化ベクトル$z$の要素を表します：

class ReLU:
    def __call__(self, z):
        return np.maximum(0, z)

    def derivative(self, z):
        return (z > 0).astype(float)

シグモイド

シグモイド活性化関数の導関数は以下の通りです：

class Sigmoid:
    def __call__(self, x):
        return 1 / (1 + np.exp(-z))

    def derivative(self, z):
        sig = self(z)
        return sig * (1 - sig)

両方の活性化関数において、演算はベクトル全体$z$およびその導関数に適用されます。NumPyは自動的に要素ごとに計算を行い、ベクトルの各要素が独立して処理されます。

例えば、ベクトル$z$が3つの要素を含む場合、導関数は次のように計算されます：

backward() メソッド

backward()メソッドは、以下の式を用いて勾配を計算します：

a^{l-1}および$z^l$は、それぞれinputsクラスのoutputs属性とLayer属性として保存されます。活性化関数$f$はactivation属性として保存されます。

必要なすべての勾配が計算された後、重みとバイアスは、これ以上計算に必要ないため更新できます：

したがって、learning_rate（$\alpha$）はこの手法のもう一つのパラメータ。

def backward(self, da, learning_rate):
    dz = ...
    d_weights = ...
    d_biases = ...
    da_prev = ...

    self.weights -= learning_rate * d_weights
    self.biases -= learning_rate * d_biases

    return da_prev