import unittest
import importlib
import re
import types
import gymnasium as gym
import numpy as np

# Helper function to require a successful test
def _require_success(test_case, condition, failure_message):
  if not condition:
    test_case._testMethodName = failure_message  # Rename the test with a failure description
    test_case.fail()  # Fail the test with a failure message

# Helper function to check if test is successful
def _check_success(test_case, condition, success_message, failure_message):
  if condition:
    test_case._testMethodName = success_message  # Rename the test for better readability in test reports
  else:
    test_case._testMethodName = failure_message  # Rename the test with a failure description
    test_case.fail()  # Fail the test with a failure message

class TestUserCode(unittest.TestCase):
  # Test that gymnasium is imported
  def test_gymnasium_imported(self):
    import user_code
    _require_success(
      self,
      hasattr(user_code, "gym"),
      "`gym` is not declared"
    )
    _check_success(
      self,
      user_code.gym == gym,
      "`gymnasium` is imported",
      "`gym` is declared, but it's not `gymnasium` library"
    )
    
  # Test that environment is created
  def test_env_created(self):
    import user_code
    _require_success(
      self,
      hasattr(user_code, "env"),
      "`env` is not declared"
    )
    _check_success(
      self,
      isinstance(user_code.env, gym.Env),
      "`env` is created",
      "`env` is declared, but it's not a gymnasium environment"
    )

  # Test that environment was reset
  def test_env_reset(self):
    with open("user_code.py", "r") as f:
      user_code_text = f.read()
      _check_success(
        self,
        re.search(r"observation *, *info *= *env *\. *reset *\( *\)", user_code_text),
        "`reset` was called",
        "`reset` was not called"
      )
    
  # Test that step was performed, and values were saved
  def test_step_performed(self):
    import user_code
    _require_success(
      self,
      hasattr(user_code, "observation"),
      "`observation` is not declared"
    )
    _require_success(
      self,
      isinstance(user_code.observation, np.ndarray),
      "`observation` is not saved after step"
    )
    _require_success(
      self,
      hasattr(user_code, "reward"),
      "`reward` is not declared"
    )
    _require_success(
      self,
      isinstance(user_code.reward, float),
      "`reward` is not saved after step"
    )
    _require_success(
      self,
      hasattr(user_code, "terminated"),
      "`terminated` is not declared"
    )
    _require_success(
      self,
      isinstance(user_code.terminated, bool),
      "`terminated` is not saved after step"
    )
    _require_success(
      self,
      hasattr(user_code, "truncated"),
      "`truncated` is not declared"
    )
    _require_success(
      self,
      isinstance(user_code.truncated, bool),
      "`truncated` is not saved after step"
    )
    _require_success(
      self,
      hasattr(user_code, "info"),
      "`info` is not declared"
    )
    _require_success(
      self,
      isinstance(user_code.info, dict),
      "`info` is not saved after step"
    )
    self._testMethodName = "`step` performed successfully"

  # Test that environment was closed
  def test_env_closed(self):
    with open("user_code.py", "r") as f:
      user_code_text = f.read()
      _check_success(
        self,
        re.search(r"env *\. *close *\( *\)", user_code_text),
        "`close` was called",
        "`close` was not called"
      )

# Run the tests when executing the script
if __name__ == '__main__':
  unittest.main()

test_main.py

Навчання з підкріпленням (RL) — це потужний напрям машинного навчання, зосереджений на тренуванні інтелектуальних агентів шляхом взаємодії з навколишнім середовищем. У цьому курсі ви дізнаєтеся, як агенти поступово знаходять ефективні стратегії через спроби та помилки. Починаючи з основних понять, таких як марковські процеси прийняття рішень і багаторукі бандити, ви ознайомитеся з динамічним програмуванням, методами Монте-Карло та навчанням з часовою різницею.

У цьому розділі розглядаються основні принципи навчання з підкріпленням, його визначальні риси, математичні основи та процес навчання агентів через взаємодію і зворотний зв'язок. Ви також ознайомитеся з базовими інструментами, необхідними для підготовки до створення та навчання перших агентів RL.

У цьому розділі розглядається проблема багаторукого бандита — чудова модель для розуміння дилеми дослідження та використання. Ви ознайомитеся з алгоритмами, які допомагають агентам приймати рішення в умовах невизначеності, балансуючи між максимізацією винагороди та необхідністю дослідження.

У цьому розділі представлено динамічне програмування як потужний метод розв’язання задач навчання з підкріпленням за наявності повної моделі середовища. Ви дізнаєтеся, як оцінювати та покращувати політики за допомогою рівнянь Беллмана, а також ознайомитеся з основними техніками, такими як ітерація політики, ітерація значення та узагальнена ітерація політики — формуючи теоретичну основу для майбутніх безмодельних методів.

У цьому розділі розглядаються методи Монте-Карло для навчання функцій цінності та стратегій на основі повних епізодів досвіду. Ви ознайомитеся з підходами на основі поточної стратегії та сторонньої стратегії, зрозумієте, як дослідження впливає на навчання, та реалізуєте інкрементальні методи для ефективної оцінки виграшів — усе це без необхідності моделі середовища.

У цьому розділі представлено навчання з часовою різницею (TD), фундаментальний метод у навчанні з підкріпленням, який поєднує ідеї Монте-Карло та динамічного програмування. Ви дізнаєтеся, як оцінювати функції цінності за неповними епізодами, ознайомитеся з політико-орієнтованим (SARSA) та політико-незалежним (Q-learning) підходами, а також дізнаєтеся, як можна поєднувати методи Монте-Карло та навчання з часовою різницею.

Завдання: Налаштування Середовища

Рішення

Awesome!

Завдання: Налаштування Середовища

Рішення

Awesome!