Створення Шару Нейронної Мережі
Окремий шар нейронної мережі
У базовій прямій нейронній мережі вихід нейрона в шарі обчислюється як зважена сума його вхідних значень, пропущена через функцію активації. Це можна представити так:
y=σ(W⋅x+b)
Де:
- y: вихід нейрона;
- W: матриця, що представляє ваги, пов’язані зі з’єднаннями до нейрона;
- x: стовпчикова матриця (або вектор), що представляє вхідні значення до нейрона;
- b: скалярне значення;
- σ: функція активації, така як сигмоїдна, ReLU або softmax функція.
Для досягнення найкращої продуктивності всі обчислення виконуються з використанням матриць. Ми будемо виконувати це завдання аналогічним чином.
Swipe to start coding
Маючи ваги, вхідні дані та зсув для шару з одним нейроном, обчисліть його вихід за допомогою матричного множення та сигмоїдної активації. Розглядається шар з 3 входами та 2 нейронами, який приймає одну вибірку в пакеті.
-
Визначення розмірностей:
- Розмірність вхідної матриці
Iповинна мати перший вимір, що відповідає кількості вибірок у пакеті. Для однієї вибірки з 3 входами розмір буде1x3; - Матриця ваг
Wповинна мати стовпці, які відповідають вагам входів для кожного нейрона. Для 2 нейронів з 3 входами очікувана розмірність —3x2. Якщо це не так, необхідно транспонувати матрицю ваг, щоб отримати потрібну розмірність.
- Розмірність вхідної матриці
-
Матричне множення:
- Коли матриці мають правильну розмірність, виконайте матричне множення;
- Нагадаємо, що при матричному множенні результат отримується як скалярний добуток кожного рядка першої матриці з кожним стовпцем другої матриці. Переконайтеся, що множення виконується у правильному порядку.
-
Додавання зсуву:
- Просто виконайте покомпонентне додавання результату матричного множення із зсувом.
-
Застосування активації:
- Використайте сигмоїдну функцію активації до результату додавання зсуву, щоб отримати вихід нейрона;
- У TensorFlow сигмоїдна функція доступна як
tf.sigmoid().
Примітка
Наприкінці курсу ми розглянемо реалізацію повної прямої нейронної мережі з використанням TensorFlow. Ця вправа закладає основу для цього.
Рішення
Дякуємо за ваш відгук!
single
Запитати АІ
Запитати АІ
Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат
Can you explain why we need to transpose the weight matrix?
What is the purpose of the bias in this calculation?
How does the sigmoid activation function affect the output?
Awesome!
Completion rate improved to 6.25Створення Шару Нейронної Мережі
Свайпніть щоб показати меню
Окремий шар нейронної мережі
У базовій прямій нейронній мережі вихід нейрона в шарі обчислюється як зважена сума його вхідних значень, пропущена через функцію активації. Це можна представити так:
y=σ(W⋅x+b)
Де:
- y: вихід нейрона;
- W: матриця, що представляє ваги, пов’язані зі з’єднаннями до нейрона;
- x: стовпчикова матриця (або вектор), що представляє вхідні значення до нейрона;
- b: скалярне значення;
- σ: функція активації, така як сигмоїдна, ReLU або softmax функція.
Для досягнення найкращої продуктивності всі обчислення виконуються з використанням матриць. Ми будемо виконувати це завдання аналогічним чином.
Swipe to start coding
Маючи ваги, вхідні дані та зсув для шару з одним нейроном, обчисліть його вихід за допомогою матричного множення та сигмоїдної активації. Розглядається шар з 3 входами та 2 нейронами, який приймає одну вибірку в пакеті.
-
Визначення розмірностей:
- Розмірність вхідної матриці
Iповинна мати перший вимір, що відповідає кількості вибірок у пакеті. Для однієї вибірки з 3 входами розмір буде1x3; - Матриця ваг
Wповинна мати стовпці, які відповідають вагам входів для кожного нейрона. Для 2 нейронів з 3 входами очікувана розмірність —3x2. Якщо це не так, необхідно транспонувати матрицю ваг, щоб отримати потрібну розмірність.
- Розмірність вхідної матриці
-
Матричне множення:
- Коли матриці мають правильну розмірність, виконайте матричне множення;
- Нагадаємо, що при матричному множенні результат отримується як скалярний добуток кожного рядка першої матриці з кожним стовпцем другої матриці. Переконайтеся, що множення виконується у правильному порядку.
-
Додавання зсуву:
- Просто виконайте покомпонентне додавання результату матричного множення із зсувом.
-
Застосування активації:
- Використайте сигмоїдну функцію активації до результату додавання зсуву, щоб отримати вихід нейрона;
- У TensorFlow сигмоїдна функція доступна як
tf.sigmoid().
Примітка
Наприкінці курсу ми розглянемо реалізацію повної прямої нейронної мережі з використанням TensorFlow. Ця вправа закладає основу для цього.
Рішення
Перейдіть на комп'ютер для реальної практикиПродовжуйте з того місця, де ви зупинились, використовуючи один з наведених нижче варіантівДякуємо за ваш відгук!
single
