Interaktion durch Gestenerkennung unter Verwendung eines neuronalen Netzes

Ein Projekt der
Fachhochule Dortmund, Fachbereich Informatik
und des
Leibniz-Instituts für Arbeitsforschung an der TU Dortmund (IfADo)

Im Rahmen einer Diplomarbeit wurde untersucht, ob und inwieweit mit einem Datenhandschuh und einem darauf zugeschnittenen Algorithmus zur Erkennung von Gesten die Navigation in und Interaktion mit Virtuellen Umgebungen erleichtert werden kann. Bei der Realisierung der Gestenerkennung wurde auf Konzepte aus dem Bereich künstlicher neuronaler Netze zurückgegriffen. Damit sollte eine möglichst zuverlässige Wiedererkennung der Gesten erreicht und die unvermeidlichen intra- und interindividuellen Variationen von Hand- und Fingerhaltungen kompensiert werden.

Konkret wurde der Backpropagation-Algorithmus eingesetzt, der sich in einem entsprechenden Vorversuch mit verschiedenen Probanden als geeignet und gegenüber einem konventionellen Klassifikations-Algorithmus (über Euklidischen Abstand) als überlegen erwiesen hatte. Allerdings stellte sich dabei auch heraus, dass einzelne Gesten von einzelnen Probanden nur schwer reproduziert werden konnten. Diese Gesten blieben im weiteren unberücksichtigt.

Mit der Zuordnung der Gesten zu Befehlen zur Navigation und Interaktion wurde das Ziel verfolgt, eine möglichst ergonomische und intuitiv handhabbare Schnittstelle zu einer virtuellen Umgebung zu schaffen. In der Testumgebung, die im Rahmen der Diplomarbeit entwickelt worden war, wurden für die Navigation in der Regel Zeigegesten verwendet. Die Geschwindigkeit der Bewegung in der virtuellen Umgebung wurde den natürlichen Bewegungen in einer realen Umwelt nachempfunden, z.B. war die Vorwärtsbewegung schneller als die Rückwärtsbewegung. Die Interpretation der Navigationsgesten wurde kontextabhängig gestaltet - so bewirkte eine Zeigegeste im linken Bereich des Bildschirms eine Rotation des Avatars nach links, die gleiche Geste im rechten Bereich eine Rotation nach rechts.

Hilfsobjekte zur Interpretation von Navigations- und Interaktionsgesten.

Die Navigationsschnittstelle erlaubte zudem die Einbindung von Tracking-Systemen, etwa bei der Verwendung eines Head-Mounted Displays (HMD), wobei dann für die Rotation und für kleinere Translationen die Daten des Kopf-Sensors genutzt wurden. Ein Problem bei der Navigation mit einem HMD ist die eingeschränkte Wahrnehmung der realen Umgebung. Um zu verhindern, dass der Anwender über Gegenstände (z.B. Kabel) stolpert, konnte er die Ansicht mit einer Handgeste um jeweils 90 Grad rotieren, was ein schnelles sowie vereinfachtes Umdrehen ermöglichte.

Als Hilfsmittel zur Interaktion mit der virtuellen Umgebung wurde ein Cursor eingeblendet, der sich immer im Zentrum der aktuellen Ansicht befand. Ein Objekt, dass sich unter dem Cursor befand, konnte mit einer entsprechenden Geste aktiviert und manipuliert werden. Alternativ könnte dieser Cursor über ein Eyetracking-System gesteuert werden, um eine weitergehende Entkopplung von Navigation und Interaktion zu realisieren.

Die Möglichkeiten zur Objektmanipulation mittels Gestenerkennung wurden in der Testumgebung anhand eines dreidimensional dargestellten Menüs geprüft. Mit diesem Menü konnten interaktive Objekte erzeugt, gespeichert, geladen und gelöscht werden. Diese Objekte wurden mit verschiedenen Gesten bearbeitet, beispielsweise verschoben oder in ihrer Größe verändert.

Insgesamt führte die Navigation und die Interaktion mittels Gesten zu einer hohen Immersion in die virtuelle Umgebung. Damit eröffnen sich eine Reihe von vielversprechenden Anwendungsfeldern, insbesondere sollten Applikationen zum Virtuellen Prototyping um Funktionen zur Objektmanipulation ergänzt werden, wie sie im Computer Aided Design (CAD) verwendet werden, um diese Arbeitsbereiche zukünftig in einer Umgebung zu integrieren. Allerdings stellt der enorme Funktionsumfang von CAD-Systemen hohe Anforderungen an die geeignete Zuordnung der Gesten, die nutzerseitig leicht nachvollziehbar und rechnerseitig zuverlässig reproduzierbar sein muss, um die notwendige Akzeptanz für solche integrierten Systeme sicherzustellen.

• Michael Stark
  Telefon: +49 231 755 6775
  Telefax: +49 231 755 6710
  Fachhochschule Dortmund
  Emil-Figge-Strasse 42
  44227 Dortmund
• Dietmar Gude
  Telefon: +49 231 1084 303
  Telefax: +49 231 1084 402
  Leibniz-Institut für Arbeitsforschung an der TU Dortmund
  Ardeystrasse 67
  44139 Dortmund

Angermayer, J. (2002). Interaktion in einer virtuellen Umgebung durch Gestenerkennung unter Verwendung eines neuronalen Netzes. Dortmund, Fachhochschule, Fachbereich Informatik, Diplomarbeit.