Ein Vergleich von feature-basiertem und bildbasiertem Reinforcement Learning anhand des Spiels Snake

Abstract

Eine der beliebtesten Herausforderungen der letzten Jahre auf dem Gebiet der künstlichen Intelligenz ist die Entwicklung von Agenten, die in der Lage sind, das Spielen von klassischen Videospielen zu perfektionieren. Diese Arbeit diskutiert den Einsatz von Reinforcement Learning zum eigenständigen Erlernen des Spiels Snake. Die Schwierigkeit in der Umsetzung eines RL-Verfahrens für Snake besteht in dem extrem großen Zustandsraum des Spiels. Zur Lösung dieses Problems führt diese Arbeit einen feature-basierten Q-Learning Ansatz und einen bildbasierten Deep Q-Learning Ansatz ein. Zur Modellierung des feature-basierten Ansatzes werden geeignete Features beschrieben, mit denen das Spiel erfolgreich abstrahiert werden kann. Mit den beiden vorgestellten Ansätzen können RL-Agenten trainiert werden, die das Spielen von Snake beherrschen. Der Vergleich der beiden Ansätze zeigt, dass der feature-basierte Ansatz gegenüber dem bildbasierten Ansatz in Trainingszeit und Spielperformance deutlich überlegen ist. Der feature-basierte Ansatz profitiert besonders durch den verkleinerten Zustandsraum, was jedoch auch zu Nachteilen in der Erkennung von bestimmten Spielsituationen führt.