Галюцинації. Чому ШІ Впевнено Робить Помилки

Ви дізналися, як отримувати корисні результати від ШІ. Тепер настав час дізнатися, коли їм не варто довіряти.

Інструменти ШІ володіють мовою, впевнені та швидкі. Водночас вони здатні генерувати інформацію, яка звучить цілком правдоподібно — але є абсолютно неправильною. Розуміння причин цього явища — одна з найважливіших речей, яку ви можете винести з цього курсу.

Що таке галюцинація?

Приклади галюцинацій у реальному світі:

• Адвокат подає юридичний документ, посилаючись на шість судових справ. Усі шість були вигадані ChatGPT. Жодної з них не існувало;
• Згенерований ШІ опис продукту містить технічну характеристику, яка звучить правдоподібно, але повністю вигадана;
• Резюме наукової статті містить статистику, якої ніколи не було в оригінальному документі;
• ШІ рекомендує певне регулювання або закон, які не існують у зазначеній юрисдикції.

ШІ не знає, що помиляється. Воно не бреше. Воно виконує саме те, для чого його створено — генерує найбільш статистично ймовірне продовження тексту — і в цих випадках цей процес призводить до хибного результату.

Чому це відбувається?

Згадайте з Розділу 1: ШІ прогнозує наступний токен на основі шаблонів. Він не має внутрішнього механізму перевірки фактів. Він не усвідомлює, що знає, а чого не знає.

Коли модель стикається з питанням, на яке не може дати надійної відповіді, вона не зупиняється — вона генерує відповідь, яка відповідає шаблону правильної відповіді. Результат — зміст, який є зв'язним, структурованим, але неправильним.

Галюцинації частіше виникають, коли:

• Ви запитуєте про дуже конкретні факти, статистику або посилання;
• Ви запитуєте про нещодавні події після дати завершення навчання моделі;
• Ви запитуєте про вузькоспеціалізовані теми з обмеженими навчальними даними;
• Питання має структуру «заповнити пропуск», що спонукає до вигадування.

Чим не є галюцинації

Варто бути точним у цьому:

• Галюцинації — це не обман чи злий намір з боку ШІ;
• Вони не є ознакою того, що ШІ зламаний або непридатний до використання;
• Це не випадкові помилки — вони мають передбачувані закономірності;
• Вони не властиві лише одному інструменту — всі основні системи ШІ галюцинують.

Це структурна властивість роботи мовних моделей. Правильний підхід — не уникати ШІ, а знати, коли потрібно перевіряти інформацію.

Золоте правило: грамотність — не точність

Найважливіше, що потрібно засвоїти про результати роботи ШІ:

Відповідь може бути чудово написаною, логічно структурованою і повністю неправильною.

Якість мови нічого не говорить про якість інформації. ШІ пише з однаковою впевненістю незалежно від того, чи є відповідь правильною. Завжди сприймайте факти, статистику, імена, дати та посилання як неперевірені, доки ви їх не перевірите.