Sehen, fühlen, hören

Fachbeitrag elektronik informationen 11/2019

Die Zukunft der Mensch-Maschine-Schnittstelle

Der Touchscreen hat die Gerätebedienung revolutioniert und ist jetzt als Eingabetechnologie nicht mehr wegzudenken. Doch was kommt als Nächstes?

Vor zwölf Jahren machte Apple mit einem neuen Bedienkonzept Furore: Statt einer Tastatur prangte auf der Vorderseite des iPhones ein großer Bildschirm mit bis dato unerreichter Pixeldichte. Bedienen ließ es sich über ein projiziert-kapazitives Feld, das mehrere Berührungsereignisse gleichzeitig erkennen konnte. Tippen, Wischen und andere Gesten dienten der Steuerung unterschiedlicher Funktionen. Seit dieser Produktvorstellung hat sich die Welt der Ein- und Ausgabe gewandelt. Neben Konsumgütern hat der Touchscreen die Industrie und Medizintechnik erobert. Den Nachteil der PCAP-Technologie – eine fehlende haptische Rückmeldung – gleichen etwa Sensoren aus, die die Betätigungskraft messen, und Aktoren, die die Eingabe durch Vibration bestätigen.

Sehen und gesehen werden

Beim klassischen HMI kommuniziert die Maschine mit dem Bediener über das Bild am Display und der Bediener mit der Maschine über Tastendruck oder Touch. Es werden also zwei Sinne, nämlich das Sehen und der Tastsinn, jeweils nur in einer Richtung angesprochen. Sprachein- und -ausgabe vermittelt hingegen die Informationen über die Akustik. Während die Ausgabe schon lange möglich ist, musste für die Eingabe erst leistungsfähigere Hardware und Software entwickelt werden.

Das Sehen kann außerdem auch in die andere Richtung genutzt werden, etwa mit Eye-Tracking. In diesem Fall hat die Maschine Augen in Form von Kameras, die die Pupillenbewegung des Bedieners verfolgen; Blinzeln entspricht einem Mausklick. Der Bediener muss sich erst eingewöhnen, dann kann er ein Gerät ohne den Einsatz seiner Hände steuern.

Bild 1: Ein Element auswählen: Der anvisierte Gegenstand wird mit einem grünen Rahmen hervorgehoben (© EyeTech Digital Systems)

Das Eye-Tracking kommt beispielsweise in Studien der Medienforschung zum Einsatz. Dabei wird das Verhalten der Nutzer analysiert und beispielsweise untersucht, wo dieser am längsten hinsieht. Mit einer höheren Auflösung und umfangreicheren Signalverarbeitung verbessert sich die Genauigkeit der Technik, die Sensoren erfassen also viel präziser den anvisierten Punkt, was mit einer passenden GUI neue Funktionen ermöglicht, die sich für industrielle Anwendungen eignen. Wenn etwa ein Monteur beide Hände für seine Arbeit braucht, reicht ein Blick, um die Seite der Anleitung am Bildschirm zu wechseln oder auf ein Detail zu zoomen. Eine Augenbewegung kann den Trigger eines Messgeräts auslösen, während die Hände des Technikers die Tastköpfe auf die Testpunkte einer Schaltung halten. Bild 1 zeigt ein weiteres Beispiel: Ein Sicherheitsinspektor wird trainiert, seinen Blick auf gefährliche Gegenstände zu fixieren, während seine Hände das Transportband positionieren oder die Kamera bedienen.

In umgekehrtem Sinne kann die Maschine mithilfe von Eye-Tracking überwachen, ob eine Person konzentriert oder abgelenkt oder gar zu müde ist, eine Aufgabe sicher und sorgfältig zu erfüllen. Bild 2 zeigt ein Training an der Sicherheitsschleuse eines Flughafens. Die Augenbewegung des Sicherheitsinspekteurs wird aufgezeichnet und anschließend ausgewertet.

Eine weitere Anwendung ist bei VR-Brillen zu finden. Sie bestimmen über die Pupillenposition den momentanen zentralen Blickpunkt, den sie mit der höchsten Genauigkeit berechnen und darstellen, während das periphere Blickfeld relativ unscharf bleibt. Dadurch reduzieren sich der Rechenaufwand und die Datenrate.

Bild 2: Leistungsfähigkeit überwachen: Kameras zeichnen die Augenbewegungen eines Sicherheitsinspekteurs auf (© EyeTech Digital Systems)

HMI 5.0

Der Kommunikationskanal zwischen Mensch und Maschine ist somit breiter geworden: Sehen/gesehen werden mit Bildausgabe und Eye-Tracking, hören/gehört werden mit Tonausgabe und Spracheingabe, tasten/fühlen mit Touchscreen und haptischem Feedback. Ist der Touchscreen also noch State-of-the-Art? Diese Frage lässt sich ganz klar mit ‚Ja‘ beantworten. Trotz vieler neuer Technologien wird Touch noch längere Zeit vorherrschend sein. Indessen kann sich die multisensuelle Kommunikation zwischen Mensch und Maschine – HMI 5.0 – weiterentwickeln, die sich nicht auf Tastatur, Touchscreen und Bildschirm beschränkt.

Fazit

Neue Kommunikationskanäle. Bei dem klassischen HMI steuert der Mensch die Maschine mit seinen Händen – per Tastendruck oder Touch – und die Maschine gibt Informationen am Bildschirm aus. Der technologische Fortschritt erweitert nun die Eingabemöglichkeiten um Spracherkennung und Eye-Tracking. Der Weg zur multisensuellen Kommunikation ist bereits vorgezeichnet.

Downloaden Sie diesen Artikel als PDF: DOWNLOAD

Kontakt

Kontakt HY-LINE

Helpdesk 089 / 614 503 40

E-Mail computer@hy-line.de

Kontakt Schweiz

Helpdesk +41 52 647 42 00

E-Mail info@hy-line.ch