Die visuelle Erklärbarkeit einer Reinforcement Learning Umgebung

Abstract

Die Visualisierung von Reinforcement Learning Prozessen hilft dabei, andernfalls schwer nachvollziehbare Vorgänge verständlich zu machen. Sie können als Funktionsnachweis eines fertig trainierten Modells oder als Einblick in den Trainingsprozess dienen. Im Rahmen dieser Forschungsarbeit wurde eine Übersicht uüber einige gängige Visualisierungsmethoden aus anderen Forschungsarbeiten angefertigt. Obwohl Visualisierungen unterschiedliche Zielgruppen bedienen müssen, sind uns keine Darstellungsformen aus dem XRL Bereich bekannt, die sich an Personen richten, die nicht im Detail wissen, wie die eingesetzten RL-Methoden funktionieren. Um diese Zielgruppen ansprechen zu können, haben wir Visualisierungsmethoden entwickelt, die sich optisch in eine bestehende RL-Umgebung einfügen, um so mithilfe dieses Kontextes leichter intuitiv interpretierbar zu sein. Bei der Entwicklung wurde berücksichtigt, dass ggf. mehrere Visualisierungen zusammen eingeblendet werden müssen, um in einen Kontext gebracht zu werden. Dabei besteht eine der größten Herausforderungen darin, dass sie übersichtlich bleiben müssen und gleichzeitig nicht zu viele Detailinformationen verloren gehen dürfen.