Моделі CBOW та Skip-gram

Обидві архітектури, CBoW та Skip-gram, навчають векторні подання слів за допомогою нейронної мережі, яка складається з наступних шарів:

• Вхідний шар;
• Один прихований шар;
• Вихідний шар.

Матриця ваг між вхідним і прихованим шарами, позначена як $W^1$ або $E$, виконує роль матриці векторних подань. Кожен рядок цієї матриці відповідає вектору подання для відповідного слова, де $i$-ий рядок відповідає $i$-ому слову у словнику.

Ця матриця містить $V$ (розмір словника) векторів подань, кожен з яких має розмір $N$, який ми задаємо. Множення транспонованої цієї матриці ($N \times V$ матриця) на one-hot вектор ($V \times 1$ вектор) дозволяє отримати вектор подання для конкретного слова, утворюючи $N \times 1$ вектор.

Друга матриця ваг, між прихованим і вихідним шарами, має розмір $N \times V$. Множення транспонованої цієї матриці ($V \times N$ матриця) на $N \times 1$ вектор прихованого шару дає $V \times 1$ вектор.

CBoW

Розгляньте приклад використання моделі CBoW:

Спочатку транспонована матриця ембеддінгів множиться на one-hot вектори контекстних слів для отримання їх ембеддінгів. Ці ембеддінги потім підсумовуються або усереднюються залежно від реалізації для формування одного вектора. Цей вектор множиться на матрицю $W^2$, у результаті чого отримується вектор розміром $V \times 1$.

Нарешті, цей вектор проходить через активаційну функцію softmax, яка перетворює його на розподіл ймовірностей, де кожен елемент представляє ймовірність того, що певне слово словника є цільовим словом.

Далі обчислюється функція втрат, і обидві вагові матриці оновлюються для мінімізації цієї втрати. Ідеально, ймовірність цільового слова має бути близькою до 1, а ймовірності для всіх інших слів — наближатися до нуля. Цей процес повторюється для кожної комбінації цільового слова та його контекстних слів.

Після обробки всіх комбінацій завершується епоха. Зазвичай нейронну мережу навчають протягом декількох епох для забезпечення точного навчання. Нарешті, рядки отриманої матриці ембеддінгів можна використовувати як векторні подання слів. Кожен рядок відповідає векторному представленню певного слова у словнику, ефективно відображаючи його семантичні властивості у навчальній моделі.

Skip-gram

Розглянемо тепер модель skip-gram:

Як видно, процес здебільшого подібний до CBoW. Він починається з отримання векторного представлення цільового слова, яке потім використовується у прихованому шарі. Далі формується вектор розміром $V \times 1$ на вихідному шарі. Цей вектор, отриманий шляхом множення векторного представлення цільового слова на матрицю ваг вихідного шару, потім перетворюється за допомогою активаційної функції softmax у вектор ймовірностей.

Втрата для кожного контекстного слова підсумовується, і матриці ваг оновлюються відповідно на кожній ітерації для мінімізації загальної втрати. Після завершення заданої кількості епох матриця векторних представлень може бути використана для отримання векторів слів.