Оскільки генеративний ШІ стає все більш поширеним у створенні контенту та прийнятті рішень, важливо забезпечити справедливість і відсутність упередженості в цих системах. Оскільки вони навчаються на великих наборах даних з Інтернету, вони можуть переймати й навіть посилювати існуючі суспільні упередження. Це може стати серйозною проблемою, особливо коли результати роботи ШІ впливають на те, як людей сприймають або з ними поводяться в реальному житті.

Алгоритмічна упередженість

Генеративні моделі, зокрема великі мовні моделі та генератори зображень на основі дифузії, навчаються на величезних наборах даних, зібраних з Інтернету. Ці набори даних часто містять історичні упередження, стереотипи та дисбаланс у представленні. У результаті моделі можуть:

• Підсилювати гендерні, расові або культурні стереотипи;
• Віддавати перевагу мовним шаблонам або візуальним ознакам домінуючих чи більшості груп;
• Генерувати контент, що маргіналізує або виключає недостатньо представлені спільноти.

Приклад

Модель генерації тексту може завершити речення «Лікар сказав…» чоловічими займенниками, а «Медсестра сказала…» — жіночими, відображаючи стереотипні гендерні ролі в професіях.

Рішення:

• Аудит даних: систематичний аналіз навчальних даних на предмет дисбалансу або проблемного контенту до початку навчання;
• Інструменти виявлення упередженості: використання інструментів, таких як Fairness Indicators, або власних метрик для ідентифікації упереджених результатів під час оцінки моделі;
• Інженерія підказок: модифікація підказок для стимулювання більш збалансованих результатів (наприклад, використання нейтральної мови або явного контексту).

Стратегії пом'якшення

Для ефективного вирішення проблеми упередженості дослідники та розробники застосовують різноманітні технічні та процедурні методи протягом усього життєвого циклу моделі:

• Балансування даних: доповнення або фільтрація наборів даних для підвищення представленості недостатньо представлених груп;
• Цілі дебіасингу: додавання термінів, орієнтованих на справедливість, до функції втрат моделі;
• Адвесаріальний дебіасинг: навчання моделей з використанням адвесаріальних компонентів, які зменшують упереджені представлення;
• Пост-хок корекції: застосування фільтрації або переписування результатів для зменшення проблемного контенту.

Приклад

У генерації зображень використання різноманітних варіацій підказок, таких як "Black woman CEO", допомагає перевірити та покращити справедливість представлення.

Репрезентація та культурна генералізація

Проблеми репрезентації виникають, коли генеративні моделі не охоплюють повну різноманітність мов, зовнішності, цінностей і світоглядів різних груп населення. Це трапляється, коли:

• Дані непропорційно отримані з домінуючих регіонів або мов;
• Маловідомі групи та культури недостатньо представлені або спотворені;
• Візуальні моделі погано узагальнюють відтінки шкіри, одяг чи риси поза найпоширенішими категоріями у навчальному наборі.

Приклад

Модель зображень може генерувати стереотипно західні риси для запитів на кшталт "весільна церемонія", не відображаючи глобального культурного різноманіття.

Рішення

• Курація інклюзивних датасетів: використання багатомовних, мультикультурних датасетів із збалансованою репрезентацією;
• Оцінювання за допомогою краудсорсингу: збір відгуків від глобально різноманітних користувачів для аудиту поведінки моделі;
• Дотонке налаштування на цільові демографічні групи: застосування доменно-специфічного донавчання для покращення результатів у різних контекстах.