Проблема дослідження проти використання є фундаментальною дилемою в навчанні з підкріпленням. Вона виникає, коли агент повинен обирати між двома конкуруючими стратегіями:

1. Дослідження: випробування нових варіантів для отримання додаткової інформації, навіть якщо негайна винагорода є невизначеною;
2. Використання: вибір найкращого відомого варіанту на основі попереднього досвіду для максимізації негайної винагороди.

Компроміс

Ця проблема виникає у ситуаціях, коли прийняті рішення впливають на майбутні результати. Якщо агент лише використовує відому інформацію, він може втратити кращі можливості. З іншого боку, надмірне дослідження може призвести до зайвих ризиків або марнування ресурсів без гарантії отримання кращих результатів.

Приклади з реального світу

• Онлайн-рекомендації: стрімінговий сервіс може рекомендувати популярний фільм (експлуатація) або запропонувати менш відомий фільм, щоб дізнатися про вподобання користувача (дослідження);
• Розробка продукту: компанія може зосередитися на вдосконаленні популярного продукту, який стабільно успішний на ринку (експлуатація), або інвестувати у створення абсолютно нових продуктів чи функцій (дослідження);
• Інвестиційні стратегії: біржовий трейдер має вирішити, чи інвестувати у добре зарекомендовані акції (експлуатація), чи експериментувати з новими інвестиціями, які можуть принести вищий прибуток (дослідження).

Проблема

Складність полягає в ефективному балансуванні цих двох стратегій. Надмірна експлуатація може призвести до субоптимальних довгострокових результатів, тоді як надмірна експлорація може бути неефективною та затратною. Головне — знайти оптимальний баланс, який максимізує довгострокові вигоди та мінімізує ризики.