Repozytorium publikacji - Politechnika Gdańska

Niniejszy rozdział zawiera łagodne wprowadzenie do problematyki uczenia ze wzmocnieniem, w którym podstawy teoretyczne wyjaśniane są na przykładzie przewodnim, jakim jest zagadnienie nauczenia agenta poruszania się w świecie potwora o imieniu Wumpus (ang. Wumpus world), klasycznym środowisku do testowania logicznego rozumowania agentów (problem nietrywialny dla algorytmów uczenia ze wzmocnieniem). Przedstawiona jest główna idea uczenia ze wzmocnieniem. Wprowadzono formalizację wieloetapowych procesów decyzyjnych w oparciu o model Procesu Decyzyjnego Markowa, zaznaczono dylemat eksploracja - eksploatacja, przestawiono klasyczny algorytm Q-learning, a także jego wariant głęboki, tj. algorytm DQN, jako przedstawiciela dziedziny głębokiego uczenia ze wzmocnieniem. Zaznaczono problemy częściowej obserwacji stanu oraz rzadko występującej nagrody, jak i sposoby poradzenia sobie z nimi, w tym: kumulacja wiedzy o stanie na podstawie częściowych obserwacji, kształtowanie funkcji nagrody, tzw. curriculum learning oraz innowacyjną podwójną strategię eps-zachłanną.

Autorzy

• mgr inż. Karol Draszawka link otwiera się w nowej karcie