Nutzereingaben Validation durch Objekterkennung

Abstract

Diese Projektdokumentation beschreibt eine Nutzereingabenvalidierung mithilfe von Objekterkennung. Das Ziel ist es, Computer-Maus Bewegungen in einem Kamera-Feed anhand eines Machine Learning Ansatzes zu erfassen. Die erkannte Bewegung soll vergleichbar mit den tatsächlich auf dem Computer erhaltenen Bewegungsdaten gemacht werden, um eine Manipulation der Daten auszuschließen. Für die Objekterkennung wurde ein Convolutional Neural Network (CNN) trainiert, welches auf Google MobileNetV2 basiert. Der Versuchsaufbau besteht aus einem Windows-Computer für die Inferenz und einer Webcam, welche eine Maus auf einem Mauspad filmt. Mittels manuell gelabelter Trainingsbilder war es möglich, langsame Mausbewegungen problemfrei zu erkennen. Jedoch stellt sich heraus, dass suboptimale Lichtbedingungen und die in dem Zusammenhang von der Kamera erfasste Bewegungsunschärfe den Ansatz zur Nutzereingabenvalidierung in seinem derzeitigen Zustand unbrauchbar machen.