Упередженість в штучному інтелекті означає систематичну та несправедливу дискримінацію, яка виникає у результатах роботи систем штучного інтелекту. Така упередженість може проявлятися у різних формах, кожна з яких має свої унікальні причини та наслідки. Найбільш поширеними є упередженість у даних, алгоритмічна упередженість та соціальна упередженість.

• Упередженість у даних виникає, коли дані, використані для навчання моделі ШІ, не є репрезентативними для ширшої популяції або містять вбудовані упередження;
• Алгоритмічна упередженість виникає через особливості розробки самих алгоритмів, наприклад, спосіб вибору ознак або обробки вхідних даних моделлю;
• Соціальна упередженість відображає вплив ширших соціальних нерівностей та припущень, які несвідомо закладаються у системи ШІ.

Розуміння цих типів упередженості є важливим, оскільки вони можуть призводити до несправедливих, неточних або навіть шкідливих рішень при використанні ШІ у реальних застосуваннях.

Існує багато реальних випадків, коли упередженість у ШІ призводила до значної шкоди:

• У сфері найму: деякі інструменти для рекрутингу на основі ШІ віддавали перевагу чоловікам перед жінками, оскільки їхні навчальні дані відображали історичну гендерну нерівність у певних галузях;
• У кримінальному правосудді: алгоритми оцінки ризиків призначали вищі ризикові бали представникам меншин, підсилюючи існуючі соціальні нерівності;
• У сфері охорони здоров'я: діагностичні інструменти, навчені на даних переважно однієї демографічної групи, показували гірші результати при використанні для пацієнтів з недостатньо представлених груп.

Ці приклади підкреслюють, чому подолання упередженості у ШІ є не лише технічною задачею, а й важливою етичною відповідальністю.