Для цього розділу рекомендується базове розуміння нейронних мереж. Якщо ви не знайомі з цією темою, ознайомтеся з наступним курсом:

Передумови

• Вступ до нейронних мереж

Обидві архітектури — CBoW та Skip-gram — навчають векторні подання слів за допомогою нейронної мережі, яка складається з наступних шарів:

• вхідний шар;
• один прихований шар;
• вихідний шар.

Матриця ваг між вхідним і прихованим шарами, позначена як $W^1$ або $E$, виконує роль матриці векторних подань. Кожен рядок цієї матриці відповідає вектору подання для відповідного слова, де $i$-ий рядок відповідає $i$-ому слову у словнику.

Ця матриця містить $V$ (розмір словника) векторів подань, кожен з яких має розмір $N$, який ми задаємо. Множення транспонованої цієї матриці ($N \times V$ матриця) на one-hot вектор ($V \times 1$ вектор) дозволяє отримати вектор подання для конкретного слова, утворюючи $N \times 1$ вектор.

Друга матриця ваг, між прихованим і вихідним шарами, має розмір $N \times V$. Множення транспонованої цієї матриці (матриця $V \times N$) на вектор прихованого шару розміром $N \times 1$ дає вектор розміром $V \times 1$.

CBoW

Розгляньте приклад використання моделі CBoW:

Спочатку транспонована матриця ембедінгів множиться на one-hot вектори контекстних слів для отримання їх ембедінгів. Ці ембедінги потім сумуються або усереднюються залежно від реалізації для формування одного вектора. Цей вектор множиться на матрицю $W^2$, у результаті чого отримується вектор розміром $V \times 1$.

Нарешті, цей вектор проходить через активаційну функцію softmax, яка перетворює його на розподіл ймовірностей, де кожен елемент представляє ймовірність того, що слово зі словника є цільовим словом.

Після цього обчислюється функція втрат, і обидві матриці ваг оновлюються для мінімізації цієї втрати. Ідеально, ймовірність цільового слова має бути близькою до 1, тоді як ймовірності для всіх інших слів мають наближатися до нуля. Цей процес повторюється для кожної комбінації цільового слова та його контекстних слів.

Після обробки всіх комбінацій завершується епоха. Зазвичай нейронну мережу навчають протягом кількох епох для забезпечення точного навчання. Нарешті, рядки отриманої матриці ембеддінгів можна використовувати як векторні представлення слів. Кожен рядок відповідає вектору певного слова у словнику, ефективно відображаючи його семантичні властивості у навчальній моделі.

Skip-gram

Розглянемо тепер модель skip-gram:

Як видно, процес здебільшого подібний до CBoW. Він починається з отримання ембеддінгу цільового слова, який потім використовується у прихованому шарі. Далі формується вектор $V \times 1$ на вихідному шарі. Цей вектор, отриманий шляхом множення ембеддінгу цільового слова на матрицю ваг вихідного шару, далі перетворюється softmax-активаційною функцією у вектор ймовірностей.

Втрати для кожного контекстного слова підсумовуються, і вагові матриці оновлюються відповідно на кожній ітерації для мінімізації загальної втрати. Після завершення заданої кількості епох матриця векторних представлень може бути використана для отримання векторів слів.