Prof. Dr. Gundolf Kiefer
Fachgebiet Technische Informatik
Hochschule Augsburg
University of Applied Sciences
HS Augsburg / Fakultät für Informatik / Archiv
Startseite
Forschung & Labor
ASTERICS
ParaNut
e4rat
HiCoVec
Publikationen
Bachelor-/Master-
Diplom-Arbeiten
Offene Themen
Tipps für
Ausarbeitungen
Lehre
Hardware-Systeme
Komplexe Rechner- und
Systemarchitekturen
Entwurf digitaler
Systeme II
Betriebssysteme
Entwurf integrierter
Systeme
Archiv
Zur Person

Projektarbeit (I6) im SS 2011

ORCHID - Optically Responsive Common Human Interface Device

Optische Gesten- und Objekterkennung als Eingabegerät

Zur Interaktion mit Computern ist die Maus seit ihrer Erfindung 1963 das wohl bekannteste Hilfsmittel. Aktuelle Fortschritte, z.B. in der Bildverarbeitung, erlauben mittlerweile jedoch weitaus natürlichere Interaktions-Schnittstellen. Hier zeigen kommerzielle Systeme, wie z.B. Nintendos WII oder Sonys PS3, dass dabei zur Interaktion Gesten als natürliche Art und Weise genutzt werden können.

Beispiel Das Ziel dieser Projektarbeit ist es, eine natürliche, auf Gesten basierende Eingabeschnittstelle zu entwickeln. Mit ihrer Hilfe soll ein Maus-Ersatz geschaffen werden, welcher eine Interaktion durch übliche Zeige-Gesten ermöglicht. Die Erkennung der Gesten soll über ein Stereokamerasystem (z.B. zwei am Monitor befestigte Webcams) geschehen.

Durch den Einsatz von Kameras sind auch neue Bedienkonzepte denkbar, die über das bloße "Zeigen und Klicken" hinausgehen. So könnte zum Beispiel automatisch ein Audio-Player gestartet werden, wenn der Anwender eine CD vor die Kamera hält. Oder in einem Malprogramm könnte entweder gezeichnet oder radiert werden, je nachdem ob der Anwender beim Zeigen einen Stift oder Radiergummi in der Hand hält. Hierzu sollen in der Projektarbeit neue Ideen entwickelt und ausprobiert werden.

Die Projektarbeit findet im Rahmen des Triokulus-Projektes in enger Zusammenarbeit mit der Firma FORTecH GmbH statt. Die Firma FORTecH kann Software zur Gestenerkennung zur Verfügung stellen, im Triokulus-Projekt ist bereits Software zur Objekterkennung entwickelt worden. Beides kann in der Projektarbeit verwendet werden. Im Übrigen soll die Software in C/C++ unter Verwendung der OpenCV-Bibliothek entwickelt werden.

Voraussetzungen:

  • Interesse an Computer-Grafik und Computer-Vision
  • Gute Mathematik-Kenntnisse
  • Gute Kenntnisse in C/C++

Material

Folien Vorbesprechung (Folien einzeln)
Literatur/Code OpenCV-Demo (Windows und Linux)
Beispiel zur Maus-Emulation unter X11
Projekt 'MEFU': Objekterkennung und -lokalisierung
Trac-Server zum Triokulus-Projekt (intern)
9.8.2017 - Gundolf Kiefer