Вивчайте Зворотне Поширення | Нейронна Мережа з Нуля

Зворотне поширення (backprop) — це процес обчислення того, як функція втрат змінюється відносно кожного параметра в мережі. Мета — оновити параметри у напрямку, який зменшує втрати.

Для цього використовується алгоритм градієнтного спуску та обчислюються похідні втрат відносно попередньо-активаційних значень кожного шару (сирі вихідні значення до застосування функції активації), які потім поширюються назад.

Кожен шар впливає на фінальний прогноз, тому градієнти потрібно обчислювати структуровано:

Виконати пряме поширення;
Обчислити похідну втрат відносно попередньо-активаційного виходу;
Поширити цю похідну назад через шари, використовуючи правило ланцюга;
Обчислити градієнти для ваг і зсувів, щоб оновити їх.

Примітка

Градієнти відображають швидкість зміни функції відносно її вхідних даних, тобто є її похідними. Вони показують, наскільки невелика зміна ваг, зсувів або активацій впливає на функцію втрат, спрямовуючи процес навчання моделі за допомогою градієнтного спуску.

Позначення

Для кращого розуміння скористаємося такими позначеннями:

$W^l$ — матриця ваг шару $l$ ;
$b^l$ — вектор зсувів шару $l$ ;
$z^l$ — вектор попередньо-активаційних значень шару $l$ ;
$a^l$ — вектор активацій шару $l$ ;

Відповідно, якщо $a^0$ дорівнює $x$ (вхідні дані), пряме поширення у перцептроні з n шарами можна описати наступною послідовністю операцій:

\begin{aligned} a^0 &= x, & &... & &...\\ z^1 &= W^1 a^0 + b^1, & z^l &= W^l a^{l-1} + b^l, & z^n &= W^n a^{n-1} + b^n,\\ a^1 &= f^1(z^1), & a^l &= f^l(z^l), & a^n &= f^n(z^n),\\ &... & &... & \hat y &= a^n. \end{aligned}

Щоб математично описати зворотне поширення помилки, вводимо такі позначення:

$da^l$ : похідна функції втрат за активаціями на шарі $l$ ;
$dz^l$ : похідна функції втрат за передактиваціями на шарі $l$ (до застосування функції активації);
$dW^l$ : похідна функції втрат за вагами на шарі $l$ ;
$db^l$ : похідна функції втрат за зміщеннями на шарі $l$ .

Обчислення градієнтів для вихідного шару

На фінальному шарі $n$ спочатку обчислюємо градієнт функції втрат за активаціями вихідного шару, $da^n$ . Далі, використовуючи правило ланцюга, обчислюємо градієнт функції втрат за передактиваціями вихідного шару:

dz^n = da^n \odot f'^n(z^n)

Примітка

Символ $\odot$ позначає покомпонентне множення. Оскільки ми працюємо з векторами та матрицями, звичайний символ множення $\cdot$ позначає скалярний добуток. $f'^n$ — це похідна функції активації вихідного шару.

Ця величина показує, наскільки чутлива функція втрат до змін у попередній активації вихідного шару.

Після отримання $\text d z^n$ обчислюємо градієнти для ваг і зсувів:

\begin{aligned} dW^n &= dz^n \cdot (a^{n-1})^T\\ db^n &= dz^n \end{aligned}

де $(a^{n-1})^T$ — транспонований вектор активації з попереднього шару. Якщо початковий вектор має розмір $n_{neurons} \times 1$ , то транспонований — $1 \times n_{neurons}$ .

Для зворотного поширення обчислюємо похідну функції втрат за активаціями попереднього шару:

da^{n-1} = (W^n)^T \cdot dz^n

Поширення градієнтів до прихованих шарів

Для кожного прихованого шару $l$ процедура однакова. Маючи $da^l$ :

Обчислити похідну функції втрат за попередніми активаціями;
Обчислити градієнти для ваг і зсувів;
Обчислити $da^{l-1}$ для подальшого поширення похідної назад.

\begin{aligned} dz^l &= da^l \odot f'^l(z^l)\\ dW^l &= dz^l \cdot (a^{l-1})^T\\ db^l &= dz^l\\ da^{l-1} &= (W^l)^T \cdot dz^l \end{aligned}

Цей крок повторюється, доки ми не досягнемо вхідного шару.

Оновлення ваг і зміщень

Після обчислення градієнтів для всіх шарів, ваги та зміщення оновлюються за допомогою градієнтного спуску:

\begin{aligned} W^l &= W^l - \alpha \cdot dW^l\\ b^l &= b^l - \alpha \cdot db^l \end{aligned}

де $\alpha$ — це швидкість навчання, яка визначає, наскільки сильно ми коригуємо параметри.

Під час зворотного поширення, як нейронна мережа оновлює свої ваги та зміщення для мінімізації функції втрат?

Select the correct answer

Обчисленням градієнта функції втрат відносно ваг і зміщень та коригуванням їх у напрямку градієнта.

Випадковим коригуванням ваг і зміщень до зменшення функції втрат.

Збільшенням величини активацій на кожному шарі.

Застосуванням правила ланцюга для обчислення коригувань ваг, але залишаючи зміщення незмінними.

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 2. Розділ 7

Запитати АІ

Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат

Awesome!

Completion rate improved to 4

Свайпніть щоб показати меню

Кожен шар впливає на фінальний прогноз, тому градієнти потрібно обчислювати структуровано:

Виконати пряме поширення;
Обчислити похідну втрат відносно попередньо-активаційного виходу;
Поширити цю похідну назад через шари, використовуючи правило ланцюга;
Обчислити градієнти для ваг і зсувів, щоб оновити їх.

Примітка

Позначення

Для кращого розуміння скористаємося такими позначеннями:

$W^l$ — матриця ваг шару $l$ ;
$b^l$ — вектор зсувів шару $l$ ;
$z^l$ — вектор попередньо-активаційних значень шару $l$ ;
$a^l$ — вектор активацій шару $l$ ;

\begin{aligned} a^0 &= x, & &... & &...\\ z^1 &= W^1 a^0 + b^1, & z^l &= W^l a^{l-1} + b^l, & z^n &= W^n a^{n-1} + b^n,\\ a^1 &= f^1(z^1), & a^l &= f^l(z^l), & a^n &= f^n(z^n),\\ &... & &... & \hat y &= a^n. \end{aligned}

Щоб математично описати зворотне поширення помилки, вводимо такі позначення:

$da^l$ : похідна функції втрат за активаціями на шарі $l$ ;
$dz^l$ : похідна функції втрат за передактиваціями на шарі $l$ (до застосування функції активації);
$dW^l$ : похідна функції втрат за вагами на шарі $l$ ;
$db^l$ : похідна функції втрат за зміщеннями на шарі $l$ .

Обчислення градієнтів для вихідного шару

dz^n = da^n \odot f'^n(z^n)

Примітка

Ця величина показує, наскільки чутлива функція втрат до змін у попередній активації вихідного шару.

Після отримання $\text d z^n$ обчислюємо градієнти для ваг і зсувів:

\begin{aligned} dW^n &= dz^n \cdot (a^{n-1})^T\\ db^n &= dz^n \end{aligned}

Для зворотного поширення обчислюємо похідну функції втрат за активаціями попереднього шару:

da^{n-1} = (W^n)^T \cdot dz^n

Поширення градієнтів до прихованих шарів

Для кожного прихованого шару $l$ процедура однакова. Маючи $da^l$ :

Обчислити похідну функції втрат за попередніми активаціями;
Обчислити градієнти для ваг і зсувів;
Обчислити $da^{l-1}$ для подальшого поширення похідної назад.

\begin{aligned} dz^l &= da^l \odot f'^l(z^l)\\ dW^l &= dz^l \cdot (a^{l-1})^T\\ db^l &= dz^l\\ da^{l-1} &= (W^l)^T \cdot dz^l \end{aligned}

Цей крок повторюється, доки ми не досягнемо вхідного шару.

Оновлення ваг і зміщень

\begin{aligned} W^l &= W^l - \alpha \cdot dW^l\\ b^l &= b^l - \alpha \cdot db^l \end{aligned}

де $\alpha$ — це швидкість навчання, яка визначає, наскільки сильно ми коригуємо параметри.

Select the correct answer

Обчисленням градієнта функції втрат відносно ваг і зміщень та коригуванням їх у напрямку градієнта.

Випадковим коригуванням ваг і зміщень до зменшення функції втрат.

Збільшенням величини активацій на кожному шарі.

Застосуванням правила ланцюга для обчислення коригувань ваг, але залишаючи зміщення незмінними.

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 2. Розділ 7