Базове розуміння нейронних мереж рекомендується для цього розділу. Якщо ви не знайомі з цією темою, можете ознайомитися з цим курсом:

Передумови

• Вступ до нейронних мереж

Обидві архітектури — CBoW і Skip-gram — навчають векторні подання слів за допомогою нейронної мережі, яка складається з таких шарів:

• вхідний шар;
• один прихований шар;
• вихідний шар.

Матриця ваг між вхідним і прихованим шарами, позначена як $W^1$ або $E$, виконує роль матриці векторних подань. Кожен рядок цієї матриці відповідає вектору подання для відповідного слова, де $i$-ий рядок відповідає $i$-ому слову у словнику.

Ця матриця містить $V$ (розмір словника) векторів подань, кожен з яких має розмір $N$, який ми задаємо. Множення транспонованої цієї матриці ($N \times V$ матриця) на one-hot вектор ($V \times 1$ вектор) дозволяє отримати подання конкретного слова, утворюючи $N \times 1$ вектор.

Друга матриця ваг, між прихованим і вихідним шарами, має розмір $N \times V$. Множення транспонованої цієї матриці (матриця $V \times N$) на вектор прихованого шару розміром $N \times 1$ дає вектор розміром $V \times 1$.

CBoW

Розгляньте приклад використання моделі CBoW:

Спочатку транспонована матриця ембеддінгів множиться на one-hot вектори контекстних слів для отримання їх ембеддінгів. Ці ембеддінги потім підсумовуються або усереднюються залежно від реалізації для формування одного вектора. Цей вектор множиться на матрицю $W^2$, у результаті чого утворюється вектор розміром $V \times 1$.

Нарешті, цей вектор проходить через функцію активації softmax, перетворюючись на розподіл ймовірностей, де кожен елемент представляє ймовірність того, що слово словника є цільовим словом.

Після цього обчислюється функція втрат, і обидві матриці ваг оновлюються для мінімізації цієї втрати. Ідеально, ймовірність цільового слова має бути близькою до 1, тоді як ймовірності для всіх інших слів мають наближатися до нуля. Цей процес повторюється для кожної комбінації цільового слова та його контекстних слів.

Після обробки всіх комбінацій завершується епоха. Зазвичай нейронну мережу навчають протягом декількох епох для забезпечення точного навчання. Нарешті, рядки отриманої матриці embeddings можна використовувати як векторні представлення слів. Кожен рядок відповідає вектору певного слова у словнику, ефективно відображаючи його семантичні властивості у навчальній моделі.

Skip-gram

Розглянемо тепер модель skip-gram:

Як видно, процес здебільшого подібний до CBoW. Він починається з отримання векторного представлення цільового слова, яке потім використовується у прихованому шарі. Далі формується вектор розміром $V \times 1$ на вихідному шарі. Цей вектор, отриманий шляхом множення векторного представлення цільового слова на матрицю ваг вихідного шару, потім перетворюється за допомогою softmax-функції активації у вектор ймовірностей.

Втрата для кожного контекстного слова підсумовується, і матриці ваг оновлюються відповідно на кожній ітерації для мінімізації загальної втрати. Після завершення заданої кількості епох матриця векторних представлень може бути використана для отримання векторів слів.