Optische Fingerpositionserkennung als Benutzerinterface für eingebettete Systeme

Abstract

Es wird eine optische Fingerpositionserkennung am Anwendungsbeispiel des Brettspiels Othello evaluiert. Dafür wird ein eingebettetes System aus einem Raspberry Pi 4, Laserporjektor und Kamera konstruiert, welches die Fingerposition in einem Kamerabild ermittelt und als Spielzug interpretiert. Die Extraktion des Spielbereichs findet durch manuell konfigurierte Filter statt, um anschließend einem neuronalen Netzwerk übergeben zu werden. Das Netzwerk besteht aus einem MobileNetV2 als Feature Extractor und hinzugefügten Fully Connected Layers, um per Regression die Fingerposition ermitteln zu können. Das Netz wurde mittels Transfer Learning trainiert, bei dem Dropout-Raten im Regressionsteil von 0%, 20% und 50% getestet wurden und ein Anteil von 0% das beste Ergebnis liefert. Das Netzwerk wird für die Coral USB Edge-TPU kompiliert und auf dieser ausgeführt, wodurch die Inferenzdauer des Systems auf 7ms reduziert wird. Der mittlere Positionsbestimmungsfehler liegt bei 1,9% des Eingabebildes, was sich in der praktischen Evaluation des Systems als präzise genug für die Bedienbarkeit herausstellt.