Backward Propagation

バックワードプロパゲーション（または逆伝播法）は、ニューラルネットワーク内の各パラメータに対して損失関数がどのように変化するかを求めるプロセス。

目的は、これらのパラメータを全体の損失を減少させるように調整すること。

このプロセスは勾配降下法に基づいており、各層の事前活性化値（活性化関数を適用する前の生の出力）に対する損失の導関数を利用し、それらをネットワーク全体に逆方向に伝播させる。

すべての層が最終的な予測に寄与するため、勾配は段階的に計算される：

1. フォワードプロパゲーションを実行して出力を得る；
2. 出力の事前活性化に対する損失の導関数を計算する；
3. この導関数を連鎖律を用いて層をまたいで逆方向に伝播させる；
4. 重みとバイアスの勾配を計算し、学習時にそれらを更新する。

記法

説明を明確にするため、以下の記法を使用：

• $W^l$：層 $l$ の重み行列
• $b^l$：層 $l$ のバイアスベクトル
• $z^l$：層 $l$ の事前活性化ベクトル
• $a^l$：層 $l$ の活性化ベクトル

したがって、$a^0$ を $x$（入力）と設定すると、n 層のパーセプトロンにおけるフォワードプロパゲーションは次の操作列で表される：

逆伝播法を数学的に記述するため、以下の記法を導入：

• $da^l$：層$l$における活性化に対する損失関数の導関数
• $dz^l$：層$l$における事前活性化（活性化関数適用前）に対する損失関数の導関数
• $dW^l$：層$l$における重みに対する損失関数の導関数
• $db^l$：層$l$におけるバイアスに対する損失関数の導関数

出力層の勾配計算

最終層$n$では、まず出力層の活性化に対する損失関数の勾配（$da^n$）を計算。

次に、連鎖律を用いて出力層の事前活性化に対する損失関数の勾配を次のように求める：

ここで、$f'^n(z^n)$は層$n$における活性化関数の導関数を表し、記号$\odot$は要素ごとの積（element-wise multiplication）を示す。

この値は、出力層の事前活性化値の変化に対する損失関数の感度を示します。

$dz^n$を計算した後、次のステップは重みとバイアスの勾配を計算することです：

これらの勾配は、損失を減らすために出力層の各重みとバイアスをどれだけ調整すべきかを示します。

ここで、$(a^{n-1})^T$は前の層からの転置された活性化ベクトルです。元のベクトルの形状が$n_{\text{neurons}} \times 1$の場合、その転置は$1 \times n_{\text{neurons}}$の形状になります。

バックワードプロパゲーションを続けるために、前の層の活性化に関する損失の導関数は次のように計算されます：

この式により、誤差シグナルがネットワークを逆方向に伝播し、学習時に前の層を調整できるようになります。

隠れ層への勾配伝播

各隠れ層$l$についても手順は同じです。$da^l$が与えられた場合：

1. 事前活性化に関する損失の導関数を計算する；
2. 重みとバイアスの勾配を計算する；
3. $da^{l-1}$を計算して導関数を逆方向に伝播する。

このプロセスは、入力層に到達するまで、各前の層に対して順番に繰り返されます。

重みとバイアスの更新

すべての層の勾配を計算した後、重みとバイアスは勾配降下法アルゴリズムを用いて更新されます:

ここで、$\alpha$は学習率を表し、各トレーニングステップでパラメータがどれだけ調整されるかを制御します。

ここで、$\alpha$は学習率であり、各更新ステップで重みとバイアスに適用される調整量を決定するハイパーパラメータです。