Neues Lernen und Arbeiten mit einem Fingerzeig: 3D-Imaging ermöglicht Gestensteuerung in virtuellen Welten

Neues Lernen und Arbeiten mit einem Fingerzeig: 3D-Imaging ermöglicht Gestensteuerung in virtuellen Welten

Die Interaktion per Gestensteuerung im eLearning, für virtuelle Teams und Fern-Konferenzen basiert auf 3D Stereo-Imaging und erhöht die Aufmerksamkeit mit innovativen Einsatzmöglichkeiten.

Wissen lässt sich mit einem spielerischen Ansatz und einer hohen User-Interaktion leichter vermitteln, besser austauschen und tiefer verankern. Auf diesem Grundsatz entwickeln eLearning-Anbieter neuartige interaktive Anwendungen. Auch verteilt arbeitende Teams profitieren von mehr Anschaulichkeit in virtuellen Besprechungen, wenn Objekte mit einem Fingerzeig um 360° gedreht werden können. 3D-Bildverarbeitung ermöglicht die intuitive Gestensteuerung für eine präzise Interaktion zwischen Anwender und Software. Die dafür benötigte Tiefenerfassung kann heute mit kleinen Stereo Vision-Modulen einfach und unkompliziert in mobile Geräte integriert werden und ermöglicht immersive Anwender-Interaktionen und eine intuitive User Experience.

Ein Beispiel:

Einige Zweitklässler sitzen um ihren Tisch im Klassenzimmer, ein großer Bildschirm steht in der Mitte und bunte Dinosaurier bannen die Aufmerksamkeit der Schüler. Während die Lehrerin das Leben der ausgestorbenen Reptilien erklärt, laufen diese auf dem Bildschirm durch eine virtuelle Urzeit-Welt. Auf einen Fingerzeig der Kinder werden zusätzliche Informationen angezeigt, die Drehung einer Hand lässt den Dinosaurier um 90° drehen und seine Rückansicht zum Vorschein kommen. Eine weitere Kipp-Drehung der Hand nach vorn und der Blick geht auf die Füße des Sauriers, eine fließende Auseinander-Bewegung von Daumen und Zeigefinger zoomt näher heran. „Wow, der hat ja richtige Krallen!“, ruft einer der Schüler begeistert.

Das gleiche Szenario könnte auch in der Entwicklungsabteilung eines globalen Fertigungskonzerns spielen, wo verteilt arbeitende Teams gemeinsam an virtuellen Modellen der neuesten Produkte arbeiten. Für Anbieter von eLearning- oder „Shared Working“-Lösungen ist besonders wichtig, ihre Nutzer im wahrsten Sinne des Wortes in die virtuelle Umgebung zu ziehen. Es gibt dafür bereits sehr vielseitige haptische Touchscreen-Lösungen mit Kameraeinbindung, die auf einfache Bedienung und interaktive Elemente wie Videostreaming oder den Upload von Fotoaufnahmen und Dokumenten setzen. Die direkte Nutzerinteraktion via Gestensteuerung war jedoch bisher meist nur bei reinen Spieleherstellern wie Nintendo® zu finden. Die Bewegungen der User werden dabei von der Kamera erfasst und auf dem Bildschirm in Aktivität umgewandelt. Mit jetzt auf dem Markt erhältlichen 3D-Modulen lassen sich die aus dem Gaming bekannten Interaktions-Techniken mühelos auf eLearning-Konzepte, virtuelle Konferenzen oder globale Team-Lösungen übertragen. Der Erschaffung virtueller Lernumgebungen oder Welten, in denen sich die Nutzer interaktiv einbringen können, stehen mit moderner 3D-Technologie innovative Möglichkeiten offen.

Fotolia_197846914_MAbbildung 1: Ingenieur arbeitet mit Hilfe von Gestensteuerung in in einer virtuellen Entwicklungsumgebung

2D versus 3D: Präzise Echtzeit-Interaktion bringt Bewegung auf den Bildschirm
Für eine korrekte und exakte Steuerung der virtuellen Umgebungen sowie der Interaktion in Echtzeit sind präzise 3D-Daten unverzichtbar. Mit 2D-Technologie ist eine exakte Bild- und Gestenerkennung stark abhängig von der Beleuchtung, zumeist an ein bestimmtes Gerät oder eine spezifische Position gebunden und bedarf einer Anpassung auf den Nutzer oder eines Trainings der Software. Die Gesten müssen zudem für jedes Gerät und jeden Anwendungszweck neu gelernt und programmiert werden. Eine handelsübliche Kamera im PC oder Laptop kann nur mit hohem Programmieraufwand räumlich sehen und muss sich dabei auf viele Annahmen stützen, was eine präzise Steuerung in virtuellen Welten quasi unmöglich macht und für hohe Latenzen sorgt. Eine 2D-Kamera kann Form, Größe und Proportion von Menschen oder Objekten einschätzen. Sie kann dabei jedoch nicht exakt feststellen, ob eine Kinderhand größer wird, weil sie sich näher auf den Bildschirm zubewegt oder ob es sich um die ausgewachsene Hand eines Erwachsenen handelt. Die dafür benötigte Distanz wird anhand vordefinierter Modelle abgeleitet, die 2D-Distanzschätzungen ergeben jedoch nur Näherungswerte. Insbesondere bei Kindern treten die höchsten Größenvarianzen und damit ungenauesten Schätzungen auf. Aber auch eine asiatische Frauenhand und die eines europäischen Mannes zu kategorisieren und damit Bewegungen vor dem Bildschirm korrekt zu unterscheiden, fällt Algorithmen anhand von 2D-Aufnahmen schwer. Die Erfassung von Gesten nach rechts, links, oben oder unten ist unproblematisch, schwierig dagegen sind frontale oder schräge Bewegungen – es fehlt die präzise Erfassung der Distanz als dritte Dimension.

Fotolia_217273735_MAbbildung 2: Virtuelle Anwendungen in der Medizin; Chirurgen bereiten Gehirn-Operation mit gestengestützter Augmented Reality vor

3D erhöht Sicherheit und Nutzer-Akzeptanz für das „New Learning“
Für die korrekten Erkennung, Lokalisierung und Orientierung von Bewegungen in Echtzeit ist 3D-Technologie unabdingbar. Ob die Steuerung virtueller Dinosaurier im interaktiven Unterricht oder dreidimensionaler CAD-Modelle in virtuellen Entwicklungsteams – 3D kann anhand der Position, Distanz sowie Richtung (Drehungs- und Kippungswinkel) umfassende Informationen zu den interagierenden Personen und den per Gestik ausgedrückten Handlungsbefehlen geben. Zur Realisierung der Objektdrehung im virtuellen Raum wird die Position der Hände, die Kippung der Ellbogen, eine Änderung der Entfernung sowie weitere Variablen zur Übersetzung der Aktivität auf den Bildschirm genutzt. Die exakten X-Y-Z-Koordinaten reduzieren die benötigte Rechenleistung sowie Hardwareressourcen und Programmieraufwand. Der gesamte Erkennungs- und Verarbeitungsprozess wird damit beschleunigt und präzisiert, entfernungsbasierte Skalierungsfehler haben keine Auswirkungen auf die Anwendung. Die virtuelle Interaktion wird in ihrer Gänze erst mit 3D-Daten sinnvoll möglich. Zudem ist der Einsatz von 3D-Imaging ein Sicherheitsfaktor. Eine 2D-Kamera kann mit dem Foto einer Person oder eines Objektes getäuscht werden, eine 3D-Kamera bemerkt die fehlende Tiefeninformation. Werden die modernen 3D-Module – beispielsweise die Intel® RealSense™-Linie – unauffällig in die Rahmen von Laptops, Tablets oder Touchscreens eingebaut, sind diese für den Nutzer nicht von herkömmlichen Geräten zu unterscheiden. Die Gestensteuerung wird natürlicher, da die Nutzer damit wie mit realen Objekt interagieren. Sie gilt damit als „non-intrusive“, als nicht aufdringlich, was entscheidend für die Akzeptanz ist. Der zusätzliche Unterhaltungsfaktor sorgt für produktivere Lern- oder Meetingeinheiten. Die 3D-Technologie unterstützt das sogenannte „New Learning” mit Praxisnähe, etwa durch Virtual Reality (VR) oder Augmented Reality (AR): Die Simulation realer Umgebungen, deren Erweiterung um virtuelle Elemente und digitale Informationen sowie deren intuitive Steuerung gestaltet das Lernen und die Zusammenarbeit viel interessanter, relevanter, ansprechender und nachhaltiger. Mithilfe von einfach integrierbaren 3D-Technologien sind neue Lernwelten und Methoden der Zusammenarbeit möglich.

3D-Module für eine einfache Entwicklung und Integration sowie schnelle Marktreife
Die Entwickler von Education- oder „New Work“-Anwendungen können heute auf direkt einsatzfähige 3D-Starter Kits zugreifen, die eine ausgereifte Technik zu erschwinglichen Preisen bieten und sich einfach in kundenspezifische Geräte integrieren lassen, Stichwort Embedded Vision. Die Technologie, die beispielsweise in der Intel® RealSense™-Linie zum Einsatz kommt, verbindet das Erfassen von Information und deren Interpretation. Basis dafür ist die Sensortechnologie mit integriertem Prozessor, die 2D- und 3D-Daten liefert und je nach Kundenanforderung und Anwendung an eine GPU, einen CPU oder ASIC weiterleitet. Auf diesen Plattformen können dann die intelligenten Algorithmen für die Gestenerkennung implementiert werden. Ingenieure können Anwendungen damit ohne lange Entwicklungszeiten und mit kurzen Markteinführungszeiten 3D-fähig gestalten und Anwendern ein interaktives und intuitives Nutzererlebnis bieten.

 

Bleiben Sie auf dem Laufenden mit FRAMOS. Melden Sie sich für unseren monatlichen Newsletter an

Contact Us

Anrede*
Vorname*
Nachname*
Jobtitel*
Unternehmen*
E-Mail*
Telefon*
Land*
Nachrichten
Mit dem Absenden der Anfrage werden Ihre Daten verarbeitet, um mit Ihnen in Kontakt zu treten und Ihre Fragen zu beantworten. Weitere Informationen zur Verarbeitung Ihrer Daten finden Sie in unserer Datenschutzerklärung

Contact Us

Anrede*
Vorname*
Nachname*
Job Titel*
Unternehmen*
E-Mail*
Telefon*
Land*
Nachricht*
Mit dem Absenden der Anfrage werden Ihre Daten verarbeitet, um mit Ihnen in Kontakt zu treten und Ihre Fragen zu beantworten. Weitere Informationen zur Verarbeitung Ihrer Daten finden Sie in unserer Datenschutzerklärung

Kontaktieren Sie uns

Anrede*
Vorname*
Nachname*
Jobtitel*
Unternehmen*
E-Mail*
Telefon*
Land*
Nachrichten
Mit dem Absenden der Anfrage werden Ihre Daten verarbeitet, um mit Ihnen in Kontakt zu treten und Ihre Fragen zu beantworten. Weitere Informationen zur Verarbeitung Ihrer Daten finden Sie in unserer Datenschutzerklärung

Kontaktieren Sie uns

Anrede*
Vorname*
Nachname*
Job Titel*
Unternehmen*
E-Mail*
Telefon*
Land*
Nachricht*
Mit dem Absenden der Anfrage werden Ihre Daten verarbeitet, um mit Ihnen in Kontakt zu treten und Ihre Fragen zu beantworten. Weitere Informationen zur Verarbeitung Ihrer Daten finden Sie in unserer Datenschutzerklärung