Свайпніть щоб показати меню

Необхідність числового представлення

Комп'ютери не можуть інтерпретувати текст так, як це роблять люди. Люди отримують значення з мови через контекст, культуру та досвід, а комп'ютери бачать лише послідовності символів.

Щоб зробити текст доступним для машин, його потрібно перекласти на їхню рідну мову: числа. Представлення тексту у вигляді векторів і матриць дозволяє математичним і статистичним моделям виявляти закономірності, зв'язки та інсайти, які залишилися б прихованими у сирому тексті.

Розуміння векторних просторових моделей

На щастя, вже існують ефективні рішення для перетворення тексту у числову форму. Одним із найпоширеніших підходів є використання векторних просторових моделей.

Визначення

Векторна модель простору (VSM) — це математична модель, яка представляє текстові документи, слова або будь-які інші елементи у вигляді векторів у багатовимірному просторі.

Існує багато способів побудови таких векторних просторів для текстових документів. Один із простих підходів — використовувати всю лексику корпусу, призначаючи кожному виміру простору унікальний термін.

Визначення

Лексика — це повний набір унікальних термінів, які зустрічаються у заданому корпусі.

Позначимо словник корпусу як $V$ , а множину документів як $D$ . Тоді кожен документ $d_i \in D$ може бути представлений у вигляді вектора у $\R^N$ :

d_i = (w_{1,i}, w_{2,i}, ..., w_{N,i})

де:

$N = |V|$ — загальна кількість унікальних термінів у словнику;
$w_{j,i}$ позначає вагу або важливість терміна $W_j \in V$ у документі $d_i$ .

Нижче наведено простий приклад з лише 2 документами та 2 унікальними термінами, візуалізований у 2D-векторному просторі:

Використовуючи ці векторні представлення, можна обчислити коефіцієнт схожості між документами, вимірюючи кут між їхніми векторами, зазвичай за допомогою косинусної схожості.

Слова як вектори

Ідею VSM можна розширити до представлення окремих слів за допомогою техніки, відомої як векторні представлення слів (word embeddings). Векторні представлення слів ґрунтуються на схожих математичних принципах, але зосереджуються на представленні окремих слів у вигляді векторів, а не цілих документів. Виміри у цих векторах відображають приховані семантичні ознаки, які безпосередньо не інтерпретуються.

Нижче наведено приклад двовимірних векторних представлень для трьох слів:

Як показано на зображенні, вектори для "woman" і "queen", а також для "queen" і "king", розташовані близько один до одного, що вказує на сильну семантичну схожість. Натомість більший кут між "woman" і "king" свідчить про більшу семантичну відмінність.

Примітка

Не переймайтеся щодо векторних представлень слів зараз, ми розглянемо їх пізніше.

Застосування векторних моделей простору

Векторні моделі простору використовуються у широкому спектрі завдань обробки природної мови:

Семантична схожість: обчислення схожості між текстовими документами або словами на основі їх векторних представлень;
Інформаційний пошук: удосконалення пошукових систем і систем рекомендацій для знаходження контенту, релевантного запиту користувача;
Класифікація та кластеризація тексту: автоматичне віднесення документів до визначених класів або групування схожих документів;
Розуміння природної мови: сприяння глибшому лінгвістичному аналізу, що відкриває можливості для таких застосувань, як аналіз тональності, тематичне моделювання тощо.

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 3. Розділ 1

Запитати АІ

Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат

Векторні Просторові Моделі

Необхідність числового представлення

Розуміння векторних просторових моделей

Визначення

Лексика — це повний набір унікальних термінів, які зустрічаються у заданому корпусі.

d_i = (w_{1,i}, w_{2,i}, ..., w_{N,i})

де:

$N = |V|$ — загальна кількість унікальних термінів у словнику;
$w_{j,i}$ позначає вагу або важливість терміна $W_j \in V$ у документі $d_i$ .

Слова як вектори

Нижче наведено приклад двовимірних векторних представлень для трьох слів:

Примітка

Не переймайтеся щодо векторних представлень слів зараз, ми розглянемо їх пізніше.

Застосування векторних моделей простору

Векторні моделі простору використовуються у широкому спектрі завдань обробки природної мови:

Семантична схожість: обчислення схожості між текстовими документами або словами на основі їх векторних представлень;
Інформаційний пошук: удосконалення пошукових систем і систем рекомендацій для знаходження контенту, релевантного запиту користувача;
Класифікація та кластеризація тексту: автоматичне віднесення документів до визначених класів або групування схожих документів;
Розуміння природної мови: сприяння глибшому лінгвістичному аналізу, що відкриває можливості для таких застосувань, як аналіз тональності, тематичне моделювання тощо.

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 3. Розділ 1