Проблема дослідження проти використання є фундаментальною дилемою в навчанні з підкріпленням. Вона виникає, коли агент повинен обирати між двома конкуруючими стратегіями:

1. Дослідження: випробування нових варіантів для отримання додаткової інформації, навіть якщо негайна винагорода є невизначеною;
2. Використання: вибір найкращого відомого варіанту на основі попереднього досвіду для максимізації негайної винагороди.

Компроміс

Ця проблема виникає у ситуаціях, коли прийняті рішення впливають на майбутні результати. Якщо агент лише експлуатує вже відому інформацію, він може втратити кращі можливості. З іншого боку, надмірна експлорація може призвести до зайвих ризиків або марної витрати ресурсів без гарантії кращих результатів.

Приклади з реального світу

• Онлайн-рекомендації: стрімінговий сервіс може рекомендувати популярний фільм (експлуатація) або запропонувати менш відомий фільм, щоб дізнатися про вподобання користувача (експлорація);
• Розробка продукту: компанія може зосередитися на вдосконаленні популярного продукту, який стабільно успішний на ринку (експлуатація), або інвестувати у створення нових продуктів чи функцій (експлорація);
• Інвестиційні стратегії: трейдер має вирішити, чи інвестувати у добре зарекомендовані акції (експлуатація), чи експериментувати з новими інвестиціями, які можуть принести вищий прибуток (експлорація).

Проблема

Складність полягає в ефективному балансуванні між цими двома стратегіями. Надмірна експлуатація може призвести до субоптимальних довгострокових результатів, тоді як надмірна експлорація може бути неефективною та затратною. Важливо знайти оптимальний баланс, який максимізує довгострокові вигоди та мінімізує ризики.