Окремий шар нейронної мережі

У базовій прямій нейронній мережі вихід нейрона в шарі обчислюється як зважена сума його вхідних значень, пропущена через функцію активації. Це можна представити так:

$y=\sigma(W \cdot x + b)$

Де:

$y$ : вихід нейрона;
$W$ : матриця, що представляє ваги, пов’язані зі з’єднаннями до нейрона;
$x$ : стовпчикова матриця (або вектор), що представляє вхідні значення до нейрона;
$b$ : скалярне значення;
$\sigma$ : функція активації, така як сигмоїдна, ReLU або softmax функція.

Для досягнення найкращої продуктивності всі обчислення виконуються з використанням матриць. Ми будемо виконувати це завдання аналогічним чином.

Завдання

Swipe to start coding

Маючи ваги, вхідні дані та зсув для шару з одним нейроном, обчисліть його вихід за допомогою матричного множення та сигмоїдної активації. Розглядається шар з 3 входами та 2 нейронами, який приймає одну вибірку в пакеті.

Визначення розмірностей:
- Розмірність вхідної матриці I повинна мати перший вимір, що відповідає кількості вибірок у пакеті. Для однієї вибірки з 3 входами розмір буде 1x3;
- Матриця ваг W повинна мати стовпці, які відповідають вагам входів для кожного нейрона. Для 2 нейронів з 3 входами очікувана розмірність — 3x2. Якщо це не так, необхідно транспонувати матрицю ваг, щоб отримати потрібну розмірність.
Матричне множення:
- Коли матриці мають правильну розмірність, виконайте матричне множення;
- Нагадаємо, що при матричному множенні результат отримується як скалярний добуток кожного рядка першої матриці з кожним стовпцем другої матриці. Переконайтеся, що множення виконується у правильному порядку.
Додавання зсуву:
- Просто виконайте покомпонентне додавання результату матричного множення із зсувом.
Застосування активації:
- Використайте сигмоїдну функцію активації до результату додавання зсуву, щоб отримати вихід нейрона;
- У TensorFlow сигмоїдна функція доступна як tf.sigmoid().

Примітка

Наприкінці курсу ми розглянемо реалізацію повної прямої нейронної мережі з використанням TensorFlow. Ця вправа закладає основу для цього.

Рішення

Перейдіть на комп'ютер для реальної практикиПродовжуйте з того місця, де ви зупинились, використовуючи один з наведених нижче варіантів

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 3. Розділ 1

single

Запитати АІ

Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат

Створення Шару Нейронної Мережі

Окремий шар нейронної мережі

Рішення