Multimodale Interaktion

Multimodale Interaktion bezeichnet in der Informatik Interaktionsformen zwischen Menschen und Computern bei denen mehrere Modalitäten verwendet werden. Die Entwicklung multimodaler Anwendungen ist ein Forschungsbereich der Mensch-Computer-Interaktion. Bei der Interaktion können verschiedenste Arten der Eingabe beispielsweise Sprache, Gesten, Touchscreens aber auch Tastatur und Maus zum Einsatz kommen. Zur Ausgabe wird neben grafischen Displays häufig Sprachausgabe, Geräusche oder haptisches Feedback genutzt.

Ziel der Entwicklung von Anwendungen die multimodale Interaktion unterstützen ist es, die Interaktion zwischen Menschen und Computern natürlicher als mit unimodalen Anwendungen zu gestalten. Dabei wird häufig versucht, die Interaktion zwischen Menschen und realen Umgebungen zu imitieren. Ein frühes Beispiel für eine multimodale Anwendung wurde von Richard Bolt entwickelt. Das System ermöglicht es dem Benutzer, virtuelle Objekte durch Gestik zu selektieren und durch Spracheingabe Kommandos auszuwählen.

Siehe hierzu auch: Fusion (Multimodale Systeme)

Literatur

• Richard A. Bolt,“Put-that-there”: Voice and gesture at the graphics interface, Proceedings of the 7th annual conference on Computer graphics and interactive techniques, 1980
• Sharon Oviatt, Ten myths of multimodal interaction, Communications of the ACM, Volume 42, Issue 11, 1999