Studie: Multi-Touch - Technologie, Hard-/Software und...

F R A U N H O F E R - I N S T I T U T F Ü R A R B E I T S W I R T S C H A F T U N D O R G A N I S AT I O N I A O

Multi-TouchStudie

Technologie, Hard-/Software und deren Anwendungsszenarien

Dieter Spath, Anette Weisbecker (Hrsg.), Uwe Laufs, Micha Block, Jasmin Link, Antonino Ardilio, Andreas Schuller, Janina Bierkandt

Multi-Touch Technologie, Hard-/Software und deren Anwendungsszenarien

Dieter Spath, Anette Weisbecker (Hrsg.), Uwe Laufs, Micha Block, Jasmin Link, Antonino Ardilio, Andreas Schuller, Janina Bierkandt

Fraunhofer IAO, Stuttgart

überarbeitete Version, April 2010

Impressum

Kontaktadresse: Fraunhofer-Institut für Arbeitswirtschaft und Organisation (IAO) Nobelstr. 12 70569 Stuttgart Herausgeber: Prof. Dr.-Ing. Dr.-Ing. e.h. Dieter Spath Dr.-Ing. habil. Anette Weisbecker Autoren: M.Comp.Sc. Dipl.-Ing. (FH) Uwe Laufs B.Sc. Micha Block Dipl.-Ing. Jasmin Link Dipl.-Ing. Des. Antonino Ardilio Dipl. Inf. Andreas Schuller M.Sc. Janina Bierkandt Erscheinungsjahr: September 2009, Überarbeitung April 2010

© Fraunhofer IAO www.hci.iao.fraunhofer.de www.swm.iao.fraunhofer.de www.innovation.iao.fraunhofer.de Alle Rechte vorbehalten Dieses Werk ist einschließlich aller seiner Teile urheberrechtlich geschützt. Jede Verwertung, die über die engen Grenzen des Urheberrechtsgesetzes hinausgeht, ist ohne schriftliche Zustimmung der Herausgeber unzulässig und strafbar. Dies gilt insbesondere für Vervielfältigungen, Übersetzungen, Mikroverfilmungen sowie die Speicherung in elektronischen Systemen. Die Wiedergabe von Warenbezeichnungen und Handelsnamen in dieser Studie berechtigt nicht zu der Annahme, dass solche Bezeichnungen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und deshalb von jedermann benutzt werden dürften. Soweit in diesem Werk direkt oder indirekt auf Gesetze, Vorschriften oder Richtlinien (z.B. DIN, VDI) Bezug genommen oder aus ihnen zitiert worden ist, kann der Herausgeber keine Gewähr für Richtigkeit, Vollständigkeit oder Aktualität übernehmen. Die Bereitstellung der Daten in dieser Studie beruht auf Angaben Dritter und erfolgt ohne Anspruch und Garantie auf Richtigkeit, Aktualität oder Vollständigkeit der Daten Dritter. Der Herausgeber bzw. die Autoren übernehmen keine Haftung für eventuell verbliebene fehlerhafte Angaben und deren Folgen aufgrund fehlerhafter Angaben Dritter. Die Daten wurden im Zeitraum 01. Januar 2008 bis 01. Januar 2009 erhoben.

Fraunhofer IAOStudie Multi-Touch

Inhaltsverzeichnis

1 Einleitung 1

2 Multi-Touch Technologien 3 2.1 Bewertungskriterien für Multi-Touch Technologien 3 2.2 Beschreibung der Technologien 5 2.3 Vergleich und Bewertung 19

3 Multi-Touch Hardware 21 3.1 Beschreibung der Hardware-Systeme 21 3.2 Hardware-Übersicht 38 3.3 Vergleich und Bewertung 41

4 Multi-Touch Software 43 4.1 Betriebssysteme 43 4.2 Multi-Touch Anwendungsfelder 44 4.3 Vergleich und Bewertung 55

5 Markt- und Anwendungspotenziale 57 5.1 Vorgehen 57 5.2 Technologieanalyse 58 5.3 Applikationsanalyse 58 5.4 Marktanalyse 60 5.5 Bewertung 66

6 Multi-Touch am Fraunhofer IAO 69 6.1 Human Computer Interaction 69 6.2 Softwaretechnik 70 6.3 Multi-Touch Entwicklungsplattform MT4j 71

7 Zusammenfassung 72 7.1 Multi-Touch Technologie 72 7.2 Multi-Touch Hardware 73 7.3 Multi-Touch Software 73 7.4 Potenzial, Defizit und Ausblick 74

8 Literaturverzeichnis 76

9 Abbildungsverzeichnis 77

10 Tabellenverzeichnis 79

Fraunhofer IAOStudie Multi-Touch 1

1 Einleitung

Alle sprechen davon, einige haben´s schon, und diejenigen die´s noch nicht haben, wollen´s unbedingt haben: »MULTI-Touch«! Unter anderem aus diesem Grund entscheiden sich Kunden, Projektpartner und Kollegen dazu eines dieser »Multi-Touch Systeme« anzuschaffen.

Der Begriff »Multi-Touch« wird für berührungssensitive Eingabegeräte verwendet, die bei einer Mensch-Computer-Interaktion mehrere Berührungspunkte, also »multiple touches«, gleichzeitig erfassen und verarbeiten können. Als Paradebeispiele: das Apple iPhone und der Microsoft Surface. Die verwendete Technologie für »Multi-Touch« fasziniert gleichermaßen Anwender und Entwickler durch neuartige Interaktionsformen, innovative Anwendungsszenarien und eine markante User-Experience. Die Konzeption der Multi-Touch-Systeme erfordert jedoch ein solides Basiswissen über deren Technologie und stellt für Entwickler einige Stolperfallen.

Bereits der Kaufentscheid für die geeignete Systemhardware sollte gut durchdacht sein: Auf dem Markt werden zur Realisierung von Multi-Touch-Systemen aktuell an die sieben unterschiedliche optische und kapazitive Basistechnologien angeboten, Tendenz steigend. Wer auf der diesjährigen Cebit´09 nachgeschaut hat, der müsste diese auch alle bei verschiedenen Herstellern und Resellern entdeckt haben; oder auch nicht. Denn, welche Technologie sich hinter der Schale eines dieser geschlossenen Systeme verbirgt, kann meist nur vermutet werden. Anhand des Bauvolumens und der Konstruktion können zwar einige Technologien ausgeschlossen werden, jedoch zeigt lediglich ein Blick hinter die Schale welche Technologie, oder Kombination aus Technologien, das System »multi-touch« fähig macht.

»Die verwendete Basistechnologie des Multi-Touch-Systems interessiert mich doch als Entwickler überhaupt nicht.« Diese sollte jedoch interessieren, denn gerade die zugrunde liegende Technologie, ob ein optisches Verfahren wie »Diffused Illumination«, »Frustrated Total Internal Reflection«, »Infrared-Light-Plane« oder ein kapazitives Verfahren wie »Projektiv-Kapazitiv« oder »Oberflächenwellen-Kapazitiv«, entscheidet über Leistung und Funktionalität, und diese sind von System zu System sehr unterschiedlich. Die Technologie ist somit ausschlaggebend, ob ein System beispielsweise »echt multi-touch«, oder nur »dual-touch« fähig ist (Erkennung von maximal zwei Touch-Punkten). Ebenso erkennen manche Technologien optisch detailliert aufliegende Objekte wie Marker oder Geräte, andere dagegen lediglich grobe Umrisse.

Jede Technologie ist auch an ein bestimmtes Bauvolumen und eine vordefinierte Konstruktion gebunden. Wer sich also ein Multi-Touch-System zulegen möchte, sollte sich im Vorfeld Gedanken machen wie und wo das System eingesetzt wird, und in welcher Art und Weise wie viele Nutzer damit interagieren. Soll das System zur kollaborativen Arbeit von vielen Anwendern gleichzeitig genutzt werden, oder lediglich von zwei Anwendern, beispielsweise Berater und Kunde? Handelt es sich um eine Nutzerinteraktion mittels Multi-Touch-Gesten in einem Single-User Kontext, oder wird

Fraunhofer IAO Studie Multi-Touch 2

in einem Multi-User Kontext mit lediglich Single- oder Dual-Touch interagiert? Diese Leitfragen und einige mehr sollten vor der Konzeption eines Multi-Touch-Systems beantwortet werden. Jedes dieser Anwendungsszenarien, ob Single- oder Multi-User, ist an besondere Anforderungen seitens der Hardware und Interaktion gekoppelt.

An dieser Stelle muss leider erwähnt werden: Es gibt bislang keine »Universal-Technologie«, die allen Anforderungen an Bauvolumen und Konstruktion, Funktionalität und Nutzerinteraktion gerecht wird. Deshalb ist es umso wichtiger das Multi-Touch-System bestmöglich auf das Anwendungsszenario hin auszuwählen und abzustimmen.

Auch Eigenschaften wie Vandalensicherheit und die Störanfälligkeit gegenüber Umwelteinflüssen, Lichteinstrahlung und elektrischer Ladung spielen eine wichtige Rolle, da Multi-Touch Technologien häufig Infrarotlicht oder Spannungsmessung verwenden.

Das Fraunhofer IAO vermittelt in dieser Studie solides Basiswissen und mögliche Einsatzgebiete der Technologie »Multi-Touch«. Die Studie informiert über die aktuellen Technologien und deren zugrunde liegende Hardware, beschreibt Multi-Touch-Softwarelösungen und zeigt in einer umfassenden Marktanalyse mögliche Anwendungsszenarien auf.

Die folgenden Themenschwerpunkte bilden die Basis dieser Studie:

– Stand der Technik im Umfeld von »Multi-Touch«: Eine Untersuchung der existierenden Technologien, auf deren Basis Multi-Touch-Funktionalität realisiert werden kann, soll Aufschluss über Funktionsumfang und Defizite der einzelnen Technologien geben (Stand Januar 2009).

– Auf dem Markt verfügbare Produkte (Hardware und Software): Die Recherche existierender Hardwareprodukte bildet das auf dem Markt vorhandene Hardware-Angebot ab. Anhand vorhandener Softwarelösungen sollen mögliche Anwendungsfelder der Multi-Touch Technologien identifiziert werden (Stand Januar 2009).

– Betrachtung der Potenziale und Defizite von Multi-Touch: Anhand von Technologiepotenzialen und -defiziten im Vergleich zu anderen Technologien werden Erkenntnisse über spezifische Vor- und Nachteile von Multi-Touch gewonnen werden. Daraus schließend können Anwendungen identifiziert werden, bei denen der Einsatz von Multi-Touch einen konkreten Mehrwert gegenüber anderen Technologien bietet.

– Marktanalyse mit Schwerpunkt auf möglichen Anwendungsszenarien: Eine Betrachtung verschiedener Marktsegmente soll Anwendungsfelder aufzeigen, die sich für einen Einsatz von Multi-Touch Systemen besonders eignen.


2 Multi-Touch Technologien

In diesem Kapitel werden technische Grundlagen zu den einzelnen, auf dem Markt verfügbaren (Stand Januar 2009) Technologien erörtert. Da sich der Markt schnell entwickelt ist mit dem Erscheinen der Studie schon von technischen Neuerungen und weiteren Anbietern auszugehen, doch die grundsätzlichen Funktionsprinzipien bleiben gültig.

Anhand im Vorfeld identifizierter Bewertungskriterien wurden die Technologien zur Realisierung von Multi-Touch Systemen untersucht und hinsichtlich ihrer Funktionsweise und Leistungsfähigkeit beschrieben.

2.1 Bewertungskriterien für Multi-Touch Technologien

Die Bewertung von Multi-Touch Technologien kann anhand der im Folgenden beschriebenen Kriterien erfolgen. Die Auswahl der Kriterien beruht auf einer Aufbereitung des Themenbereichs durch Bill Buxton, einem Multi-Touch-Experten der Microsoft Research Labs, vgl. [Buxton 08]. Anhand dieser Kriterien können die durch die Technologien realisierbaren Funktionalitäten, sowie die potenziellen Einsatzbereiche bestimmt werden.

Aufgrund des Bewertungsergebnisses einer bestimmten Technologie kann meist auf die Eigenschaften eins konkreten Produkts, welches diese Technologie verwendet, geschlossen werden, da die verwendete Technologie ausschlaggebend für die Leistungsfähigkeit eines Multi-Touch (MT) Systems ist. Auf diesem Wege kann die Auswahl der Hardware direkt entsprechend der anwendungsseitigen Anforderungen durchgeführt werden.

Bewertungskriterium Erklärung Tracking1 fortlaufender Bewegungen Die Möglichkeit zur Erkennung fortlaufender

Bewegungen wird für eine Vielzahl von Multi-Touch-Funktionalitäten (z.B. das Verschieben von Objekten) benötigt.

Anzahl gleichzeitig detektierbarer Punkte/Bewegungen

Existierende Technologien unterscheiden sich in der gleichzeitig detektierbaren Anzahl an Bewegungen. Beispielsweise sind Systeme, die lediglich zwei Bewegungen gleichzeitig verarbeiten können für die kollaborative Nutzung nur sehr eingeschränkt geeignet.

1 »Tracking« bezeichnet die kontinuierliche Verfolgung von Objekten, in diesem Fall von Berührungspunkten des Nutzers.


Bekannte sensorische Einschränkungen

Bei einigen Multi-Touch-Technologien existieren weitere Einschränkungen der Sensorik, beispielsweise »Blinde Stellen« die bei seitlich am Multi-Touch-Screen angebrachter Sensorik entstehen, wenn sich die Finger in einer ungünstigen Position befinden und andere Finger für die Sensorik »unsichtbar« machen.

Berührungsfreiheit Bei Systemen, die kein Aufpressen der Finger erfordern, finden keine Verluste von Bewegungsdaten statt, wenn der Benutzer z.B. bei schnellen Bewegungen nicht hinreichend stark auf den Multi-Touch-Screen aufdrückt. Berührungsfreie Systeme sind durch das Entfallen der Notwendigkeit, konstant aufzudrücken zudem angenehmer in der Benutzung.

Erkennung von Umrissen (MT-Screen erkennt Umrisse von Gegenständen ja / nein)

Einige Multi-Touch-Technologien können auch eingesetzt werden, um die Umrisse und Positionen von auf dem Display befindlichen Gegenständen zu erkennen. Dies ermöglicht weitere Funktionalitäten, beispielsweise im Zusammenhang mit der Nutzung in Kombination mit mobilen Endgeräten oder anderen auf einem Multi-Touch-Screen platzierten Gegenständen.

Zuordnung von Bewegungen zu Personen möglich

Die meisten Multi-Touch-Technologien können nicht zuordnen, welche der detektierten Bewegungen zu welchen Personen/Händen gehören. Hierdurch ergeben sich Probleme bei der Auswertung einiger Steuerungsgesten, falls mehr als eine Person an einem Multi-Touch-Screen arbeitet.

Auch zeichnen mit Stift möglich Einige Multi-Touch-Technologien können auch Berührungen durch feine Gegenstände wie eine Stiftspitze erkennen und bieten hierdurch weitere Einsatzmöglichkeiten.

Latenz Möglichst geringe Verzögerungszeiten der Sensorik ermöglichen die flüssige Nutzung von Multi-Touch-Screens.

Präzision Bezüglich der Genauigkeit der erkannten Fingerpositionen bestehen bauartbedingt teils deutliche Unterschiede zwischen den verschiedenen Technologien.

Bildschirmdiagonale Einige Multi-Touch-Technologien sind nur für kleine, andere besonders für große Displayflächen geeignet bzw. wirtschaftlich sinnvoll herstellbar. Andere sind unter Kostenaspekten betrachtet erst bei großen bis extrem großen Bildschirmdiagonalen sinnvoll.


Bauvolumen (Abmessungen des gesamten Aufbaus)

Die verwendete Technologie entscheidet über das minimale Bauvolumen des Gesamtgeräts. So sind beispielsweise Technologien, die Rückprojektion erfordern, aufgrund des notwendigen Abstands zwischen Projektionsfläche und Projektor nicht flach realisierbar. Andere Technologien können in Kombination mit Flachbildschirmen z.B. als Aufsatz (Panel) genutzt werden.

Tabelle 1: Bewertungskriterien für Multi-Touch Systeme

2.2 Beschreibung der Technologien

Im Folgenden werden die wesentlichen Multi-Touch-Technologien und Verfahren untersucht und beschrieben sowie Aufbau und Funktionsweise darauf beruhender Produkte beschrieben. Die Bewertung der technischen Eigenschaften wird anhand der in Kapitel 2.1 erläuterten Bewertungskriterien vorgenommen.

2.2.1 Diffused Illumination

Diffused Illumination (DI) ist eine der einfachsten und kostengünstigsten Lösungen, um ein Multi-Touch fähiges System zu bauen. Die teuersten Bestandteile sind ein Beamer zur Rückprojektion des Bildes und eine Kamera (USB Kamera) zur Aufnahme der Berührungspunkte.

2.2.1.1 Aufbau

Das Bild des Projektors wird, wie in Abbildung 1 dargestellt, auf eine matte Acrylplatte projiziert. Optional kann ein Spiegel verwendet werden, um die Bauhöhe des Tisches zu verringern. Des Weiteren werden im Bild rot gekennzeichnete Infrarotstrahler eingesetzt, welche die Platte möglichst gleichmäßig bestrahlen. Eine Kamera observiert die Acrylplatte aus der Sicht des Projektors. Diese soll jedoch nicht das sichtbare Licht aufnehmen, sondern ausschließlich das reflektierte infrarote Licht, das durch Annäherung an die Platte und deren Berührung reflektiert wird.


Abbildung 1: Schematische Darstellung eines Diffused Illumination Aufbaus2

Die meisten Kameras besitzen einen eingebauten Infrarot-Filter (IR-Filter), der verhindert, dass infrarote Strahlung in den Sensor der Kamera gelangt. Dieser Filter wird ausgebaut und durch einen ersetzt, der das sichtbare Licht filtert und ausschließlich infrarotes Licht durchlässt.

Es gibt verschiedene Möglichkeiten, einen derartigen Filter zu realisieren. Eine Möglichkeit ist die Verwendung eines schwarzen, belichteten Fotofilms, der über die Linse geklebt wird. Mit Hilfe von schwarzen Permanentmarkern und transparenter Klebefolie kann der gleiche Effekt erzielt werden. Wenn bessere Ergebnisse erzielt werden sollen, so kann auch ein Bandpassfilter verwendet werden. Der Vorteil ist, dass die Strahler und der Filter bezüglich der Wellenlänge des infraroten Lichts aufeinander abgestimmt werden können und somit optimale Ergebnisse bei der Aufnahme erzielt werden. Eine ausführliche Bauanleitung findet sich beispielsweise in [Franke08].

2.2.1.2 Funktionsweise

Bei der Annäherung eines Fingers an die Platte wird zunehmend infrarotes Licht reflektiert und von der Kamera aufgenommen. Berührungspunkte erscheinen nun als helle Flecken auf dem Bild der Kamera. Da im Sonnenlicht sehr hohe Anteile infraroter Strahlung enthalten sind, ist Bei der Annäherung eines Fingers an die Platte wird zunehmend infrarotes Licht reflektiert und von der Kamera aufgenommen.

2 Quelle: [Bader 08]


Berührungspunkte erscheinen nun als helle Flecken auf dem Bild der Kamera. Da im Sonnenlicht sehr hohe Anteile infraroter Strahlung enthalten sind, ist ein Betrieb im Freien nicht möglich. Optimal ist ein möglichst dunkler oder mit künstlichem Licht (ohne infrarote Anteile) bestrahlter Raum. Die Schwierigkeit in der Erkennung von Berührungen liegt in der Kalibrierung der Strahler. Das abgestrahlte Licht muss möglichst gleichmäßig auf die gesamte Fläche des Schirms verteilt werden, sodass im von der Kamera aufgenommenen Bild keine hellen Flecken entstehen. Da in der anschließenden Bildverarbeitung zum Tracking nach hellen Punkten gesucht wird, würden diese sonst stören. Die Qualität der Berührungserkennung hängt maßgeblich von der eingesetzten Kamera ab. Diese hat eine beschränkte Auflösung, sowohl was die Anzahl der Bildpunkte angeht, als auch die Bildfrequenz. Eine zu geringe Auflösung erschwert das Zuordnen der exakten Koordinaten einer Berührung. Bei vielen Kameras geht eine hohe Auflösung der Bildpunkte zu Lasten der Bildwiederholrate, und die Latenz der Bildübertragung steigt. Latenz und Bildwiederholrate sind entscheidende Faktoren des Trackings.

Abbildung 2: Abstand der Punkte bei gleicher Bewegungsgeschwindigkeit3

Die Bildwiederholrate ist wichtig, da eine Kamera lediglich Einzelbilder und keine Bewegungen liefert. Ist ein Punkt auf dem ersten Bild sichtbar und auf dem nächsten Bild an einer anderen Stelle ein Punkt, muss entschieden werden, ob es sich um den selben Punkt handelt, oder ob dies ein neuer Punkt, also eine neue Berührung ist. In der Regel wird dies über den Abstand der beiden Punkte geschätzt. Ab einem bestimmten Schwellenwert wird der Punkt im neuen Bild als neue Berührung gewertet. Bei hoher Bildwiederholrate kann somit ein niedrigerer Schwellenwert gewählt werden, da die Bilder in zeitlich geringerem Abstand aufeinander folgen. Der zurückgelegte Weg bei einer Bewegung zwischen zwei aufeinander folgenden Bildern ist bei gleicher Bewegungsgeschwindigkeit geringer.

2.2.1.3 Technische Eigenschaften

Bewertungskriterium Wert Tracking fortlaufender Bewegungen

Ja


Beliebig (nur eingeschränkt durch Qualität und Rechenaufwand bei Bewegungsauswertung)




Meist Tageslichtempfindlichkeit, Notwendigkeit zur Anpassung an Umgebungslicht. Kann prinzipiell mit Oberflächenfilter behoben werden.

Berührungsfrei Ja Erkennung von Umrissen Ja Zuordnung von Bewegungen zu Personen möglich

Nein (evtl. Zuordnung von Fingern zu Händen möglich)

Auch zeichnen mit Stift möglich Eingeschränkt (dicke Stiftspitze erforderlich) Latenz Abhängig von verwendeter Kamera (geringe

Latenzzeiten möglich) Präzision Abhängig von verwendeter Kamera (hohe

Präzision möglich) Bildschirmdiagonale (Größe des Benutzerinterfaces)

Geeignet für große und überdimensionale Displays


Mit größerer Vorrichtung (Keine Flachbauweise möglich)

Tabelle 2: Eigenschaften des Verfahrens Diffused Illumination

2.2.2 Frustrated Total Internal Reflection

2.2.2.1 Aufbau

Der Frustrated Total Internal Reflection (FTIR) Aufbau ist dem DI Aufbau sehr ähnlich, unterscheidet sich aber im Beleuchtungsverfahren, und als Folge dessen auch in der Beschaffenheit der Projektionsschicht. Während bei DI die Projektionsfläche aus der Richtung des Projektors mit infraroter Strahlung beleuchtet wird, ist beim FTIR-Verfahren die Infrarot-Beleuchtung seitlich an den Rändern des Displays montiert. Die Lichtquellen, meist LEDs, geben ihre Strahlung vom Rand aus in eine klare Acrylglas Platte ab. Die FTIR Technik basiert auf dem physikalischen Effekt der Totalreflexion, der dafür sorgt, dass das Licht die Platte vom Rand aus gleichmäßig ausleuchtet (siehe Abbildung 3). Die LEDs werden sowohl von oben als auch unten abgedeckt, sodass keine infrarote Strahlung direkt zur Kamera gelangt.

Da bei diesem Aufbau im Unterschied zu DI-Verfahren eine klare und keine matte Scheibe zum Einsatz kommt, kann diese die »lichtleitende« Schicht nicht gleichzeitig als Projektionsfläche benutzt werden. Es ist also eine zusätzliche Projektionsschicht nötig. Diese kann entweder unter der lichtleitenden Schicht angebracht werden, wodurch ein unerwünschter Versatz zwischen Bild- und Berührebene entsteht, oder darüber. In diesem Fall spielt die Materialauswahl eine entscheidende Rolle, da bei Berührung über die Projektionsschicht der Kontakt zur lichtleitenden Schicht hergestellt werden muss, um das Licht zu brechen, gleichzeitig dürfen die Schichten nicht aneinander kleben bleiben, wenn die Berührung endet oder sich der Punkt verschiebt.


Abbildung 3: Schematische Darstellung eines auf Totalreflexion basierenden Aufbaus4


Der Effekt der Totalreflexion beruht auf der Tatsache, dass Licht am Übergang zwischen zwei optisch unterschiedlich dichten Medien abhängig vom Winkel in dem es auftrifft, gebrochen wird. Beim Übergang von einem optisch dichteren Medium zu einem optisch dünneren Medium tritt der Effekt auf, dass ein Lichtstrahl der in einem bestimmten Winkel auf diese Grenzfläche trifft, dabei an dieser vollständig reflektiert wird.

Zu der mit reflektiertem Licht »gefüllten« Scheibe wird an den Berührpunkten Kontakt hergestellt. Abbildung 4 zeigt einen Querschnitt durch die Projektionsfläche, und eine LED, die seitlich in die Scheibe strahlt. Im oberen Bild werden die Lichtstrahlen (rot eingezeichnet) an den Grenzflächen der Scheibe vollständig reflektiert. Das infrarote Licht verlässt die Scheibe nicht. Im unteren Bild berührt ein Finger die Projektionsfläche. In diesem Bereich findet keine Totalreflexion an der Scheibe statt und das Licht trifft auf den Finger. Dieser reflektiert einen Teil des Lichtes senkrecht durch die Scheibe hindurch zur Kamera.

Der Grund für die Verhinderung der Totalreflexion ist, dass sich zwischen der Acrylplatte und dem Finger keine Luft mehr befindet. Somit existiert an dieser Stelle kein Übergang zu einem optisch dünneren Medium mehr.



In anderen Bereichen, z.B. der Glasfaser-Übertragungstechnik, wird dieser Effekt ebenfalls genutzt. Hierbei werden Lichtwellen innerhalb einer transparenten Faser über lange Strecken fast verlustfrei übertragen. Diese etablierte Technik bildet die »Backbone« des heutigen Internets.

Abbildung 4: Schematische Darstellung des Effekts der unterbrochenen Totalreflexion5

FTIR erkennt keine Objekte die sich über der Projektionsfläche befinden, sondern lediglich tatsächliche Berührpunkte. Diese sind, wie im DI Verfahren beschrieben, mit Hilfe von Bildverarbeitung auswertbar. Die Filterung kann einfacher durchgeführt werden, da sich Berührpunkte stark von der Umgebung abheben.

Diese Technologie wurde insbesondere durch Jeff Han bekannt, dessen Demonstrationen über die Videoplattform »youtube« bereits früh ein breites Publikum fanden.



Ja




Tageslichtempfindlichkeit, Notwendigkeit zur Anpassung an Umgebungslicht. Kann prinzipiell mit Oberflächenfilter behoben werden.

Berührungsfrei Nein Erkennung von Umrissen Nein (Erkennung nur bei bestimmten

Materialeigenschaften und hinreichendem Gewicht möglich)

Zuordnung von Bewegungen zu Personen möglich

Nein



Auch zeichnen mit Stift möglich Eingeschränkt (Dicke Stiftspitze und geeignetes Material erforderlich)

Latenz Abhängig von verwendeter Kamera (geringe Latenzzeiten möglich)

Präzision Abhängig von verwendeter Kamera (hohe Präzision möglich)

Bildschirmdiagonale (Größe des Benutzerinterfaces)



Mit größerer Vorrichtung (Keine Flachbauweise möglich)

Tabelle 3: Eigenschaften des Verfahrens Frustrated Total Internal Reflection

2.2.3 Projektiv-Kapazitive Verfahren

2.2.3.1 Aufbau

In mobilen Geräten werden meist kapazitive Verfahren eingesetzt, da diese Technologie den Anforderungen an eine kompakte Bauform sowie an eine zuverlässige Erkennung auch unter Tageslichteinfluss gerecht wird. Über das eigentliche Display werden verschiedene transparente Schichten mit Sende- und Empfangsantennen gelegt.

Gemessen werden Spannungen in den Empfangsantennen, die auf Grund der kapazitiven Kopplung zwischen Sender und Empfänger auftreten. Abbildung 5 veranschaulicht den Aufbau eines projektiv-kapazitiven Multi-Touch-Displays.

Abbildung 5: Darstellung eines projektiv-kapazitiven Multi-Touch Screens6



Die unterste Schicht besteht hierbei aus einem regulären Flüssigkristalldisplay. Darüber verlaufen in vertikaler Richtung die transparenten Empfangsantennen. An diesen Antennen werden Spannungsänderungen gemessen. Die Antennen sind vom darunter liegenden Display isoliert, ebenso die Sendeantennen, an denen Spannung anliegt um ein elektrisches Feld zu erzeugen. Es entsteht eine kapazitive Kopplung zwischen Sender und Empfänger. Die oberste Schicht dient zum Schutz der Antennen und kann zusätzlich zur Entspiegelung des Displays genutzt werden.


Durch Berührung mit einem Finger lässt die kapazitive Kopplung in den umgebenden Bereichen des Bildschirms nach. Anhand des Spannungsabfalls können exakte Druckpunkte ermittelt werden. Die Auflösung beschränkt sich nicht auf die Anzahl der Sende- und Empfangsantennen pro Flächeneinheit, sondern ist genauer: Da die gemessenen Spannungen genau bestimmt werden können, kann mit Hilfe bikubischer Interpolation der genaue Aufenthaltsort des Fingers berechnet werden. Beschreibungen der Funktionsweise von projektiv-kapazitiven Verfahren finden sich in [Trümper 07] und [Wilson 08].


Bewertungskriterium Wert Tracking fortlaufender Bewegungen Ja Anzahl gleichzeitig detektierbarer Punkte/Bewegungen

Prinzipiell beliebig


Verdeckungseffekte (Ghosting7)

Berührungsfrei Ja Erkennung von Umrissen Nein Zuordnung von Bewegungen zu Personen möglich

Nein

Auch zeichnen mit Stift möglich Ja, wenn Stift aus elektrisch leitfähigem Material besteht

Latenz Gering Präzision Hoch (aber Parallaxefehler durch Trennung von

Sensorik und Display) Bildschirmdiagonale (Größe des Benutzerinterfaces)

Geeignet für kleine Displays (Handy, Notebook, Desktop-Monitore)


Flach

Tabelle 4: Eigenschaften des projektiv-kapazitiv en Verfahrens

7 Ghosting: Die Hardware kann aufgrund der »flachen« Abtastung getrennt detektierte Berührungspunkte auf der X-Achse nicht

eindeutig den zugehörigen Punkten auf der Y-Achse zuordnen. Bei zwei realen Berührungspunkten ( . ` ) liefert das System vier Berührungsevents ( : : ).


2.2.4 LED Matrix

2.2.4.1 Aufbau

Bei einer LED Matrix handelt es sich um eine Matrix aus Leuchtdioden (LEDs), die auf einer geraden Fläche aufgespannt wird. Die Leuchtdioden können sowohl als Anzeigemedium mit sehr geringer Auflösung dienen, als auch als Sensoren für die Verfolgung von Fingerbewegungen. Die LEDs müssen hierzu separat angesteuert werden können.

Abbildung 6: Musikinstrument Yamaha Tenori-on mit LED-Matrix-Technologie8


Da jede LED gleichzeitig auch als Fotodiode genutzt werden kann, ist es nicht nur möglich Bilder auszugeben, sondern auch die Einstrahlung von Licht zu messen. Da LEDs gepulst betrieben werden können, ist schnelles Umschalten beider Betriebsarten möglich.

Zur Messung der Helligkeit wird die Zeit gemessen, bis die zuvor angelegte Spannung auf einen bestimmten Minimalwert fällt. Je heller die Umgebung, desto schneller fällt die Spannung ab. Wenn die einzelnen LEDs der Matrix unterschiedlich gepulst werden, z.B. jede zweite LED Licht aussendet und die restlichen die Lichteinstrahlung messen, kann die Entfernung eines Objekts anhand der reflektierten Strahlung bestimmt werden.

Die Auflösung ist bedingt durch die Größe der LEDs sehr gering, gerade wenn farbige Bilder dargestellt werden. Dunkle Bereiche im Bild sind von einer Erkennung ausgeschlossen, da unzureichend Licht reflektiert wird. Dementsprechend sind die

8 Quelle: http://www.heise.de/newsticker/Digitales-Musikinstrument-fuer-kreative-Finger--/meldung/109455


Nutzungsmöglichkeiten dieser Technologie sehr eingeschränkt. Als kostengünstiges Eingabegerät oder zur Realisierung von Benutzeroberflächen für Spezialanwendungen, bei denen die gegebenen Einschränkungen nicht relevant sind, siehe Abbildung 6, kann der Einsatz sinnvoll sein.


Bewertungskriterium Wert Tracking fortlaufender Bewegungen Ja Anzahl gleichzeitig detektierbarer Punkte/Bewegungen

Beliebig (Abhängig von Anzahl der LEDs)


Sensorische Auflösung extrem gering, keine Erkennung möglich auf dunklen Displaypunkten

Berührungsfrei Ja Erkennung von Umrissen Prinzipiell ja (bei extrem geringer Auflösung) Zuordnung von Bewegungen zu Personen möglich

Nein

Auch zeichnen mit Stift möglich Nein Latenz Gering Präzision Extrem gering Bildschirmdiagonale (Größe des Benutzerinterfaces)

Klein


Flach bis mittel

Tabelle 5: Eigenschaften des Verfahrens LED Matrix

2.2.5 Infrarot-Lichtvorhang

2.2.5.1 Aufbau

Bei diesem Verfahren wird ein flacher »Lichtvorhang« aus infrarotem (IR) Licht über einer Glasplatte aufgespannt. Die als Lichtquelle dienenden IR-Leuchtdioden sind aufgereiht an zwei nicht gegenüberliegenden Seiten des Displays oder des Rahmens angebracht, die Empfangseinheiten (IR-Licht-Detektoren) an den entsprechend gegenüberliegenden Seiten. Diese Technik ermöglicht einen flachen Aufbau und eine völlig transparente berührungsempfindliche Fläche. Da es sich um ein optisches Verfahren handelt, bei dem keine Projektoren oder Kameras verwendet werden, sind sehr geringe Bauvolumen möglich (circa 5-20mm).


Die transparente Glasoberfläche ist bei diesem Verfahren passiv, bei großen Ausführungen wird sie in manchen Fällen auch weggelassen. Sie bildet lediglich eine Auflagefläche für den Benutzer und dient zum Schutz des eigentlichen, darunterliegenden Displays.


Jeder IR-Leuchtdiode ist eine Empfangseinheit auf der gegenüberliegenden Seite zugeordnet. Beim Touch auf die Glasplatte werden bestimmte IR-Leichtdioden verdeckt und für ihre Empfangseinheiten unsichtbar. Jedem Berührungspunkt sind somit zumindest zwei verdeckte IR-Leuchtdioden in X- und Y-Richtung zugeordnet. Die Größe des berührenden Objekts ist bestimmt durch die Anzahl der verdeckten Lichtquellen. Eine Stiftspitze verdeckt beispielsweise nur jeweils eine Lichtquelle in X- und Y-Richtung, eine Hand eine ganze Reihe von Lichtquellen. Es lässt sich somit der Umfang von Objekten erkennen, jedoch nicht die exakten Konturen.

Nachteil dieses Verfahrens sind Abschattungseffekte und »Ghost Touches«, ähnlich wie bei kapazitiven Verfahren. Werden zwei oder mehr Punkte »zeitgleich« erkannt, kann das System nicht feststellen, welcher der Y-Werte zu welchem X-Wert gehören. Das Resultat bei zwei Punkten sind beispielsweise 2 korrekt erkannte Punkte und zwei »Ghost Touches«, also insgesamt 4 Punkte. Fehler treten ebenfalls auf, wenn sich zwei oder mehr sich bewegende Punkte auf der Werte-Achse X und/oder Y kreuzen. Beim Kreuzen geht die korrekte Zuordnung der X- zu Y-Werte verloren. Den sich kreuzenden Punkten wird dann ein X- oder Y-Wert des anderen Punkts zugeordnet. Diese Phänomene treten sehr häufig auf, können jedoch zum Teil softwareseitig korrigiert werden.

Abbildung 7: Funktionsprinzip des Infrarot-Lichtvorhangs9



Ja

9 Quelle: http://inexio.co.kr/image/pd1.jpg



2 Bewegungen


Verdeckungseffekte (Ghosting)

Berührungsfrei Ja Erkennung von Umrissen Eingeschränkt (Umfang erkennbar, jedoch keine

exakten Konturen) Zuordnung von Bewegungen zu Personen möglich

Nein

Auch zeichnen mit Stift möglich Ja Latenz Gering Präzision Hoch (aber auftreten von Parallaxefehlern durch

räumliche Trennung von Display und Sensorik) Bildschirmdiagonale (Größe des Benutzerinterfaces)

Geeignet für alle Displaygrößen


Flachbauweise möglich

Tabelle 6: Eigenschaften des Verfahrens Infrarot-Lichtvorhang

2.2.6 Laser Light Plane

Auch bei dieser Multi-Touch-Technologie kommt Infrarotlicht zum Einsatz. Abgesehen von der Art und Weise, wie die Fingerspitzen mit infrarotem Licht beleuchtet werden, ist die Laser Light Plane (LLP) bezüglich des Aufbaus und der Funktionsweise mit den Verfahren FTIR und DI identisch. Hier werden jedoch ein oder mehrere Lasermodule verwendet, die mit Hilfe einer aufgesetzten, speziellen Linienlinse, eine Fläche aus Infrarotlicht über der Oberfläche des Displays aufspannen. Durchbricht etwas diese Fläche, so kann die Infrarotkamera dies erkennen und die Punkte können berechnet werden.

Abbildung 8: Laser Light Plane Methode – Ein Finger bricht die vom Infrarot-Laser aufgespannte Lichtfläche und reflektiert Licht Richtung Kamera10

10 Quelle: [Ruff 08]




Ja




Abschattungseffekte möglich

Berührungsfrei Ja Erkennung von Umrissen Ja (eingeschränkt durch Abschattungseffekte) Zuordnung von Bewegungen zu Personen möglich

Nein

Auch zeichnen mit Stift möglich Eingeschränkt (dickere Stiftspitze erforderlich) Latenz Abhängig von verwendeter Kamera (geringe

Latenzzeiten möglich) Präzision Abhängig von verwendeter Kamera (hohe

Präzision möglich) Bildschirmdiagonale (Größe des Benutzerinterfaces)



Mit größerer Vorrichtung (keine Flachbauweise möglich)

Tabelle 7: Eigenschaften des Verfahrens Laser Light Plane

2.2.7 Infra Red Light Plane

Ein weiteres Multi-Touch-Verfahren ist die IR Light Plane (IRLP). Technisch und bezüglich der Funktionsweise ähnelt das Verfahren stark dem IR-Lichtvorhang (vgl. Kapitel 2.2.5), allerdings unterscheidet sich das Verfahren im Aufbau.

2.2.7.1 Aufbau

Beim IRLP Verfahren befinden sich zwei Sensor/Emitter-Module in zwei gegenüberliegenden Seiten der Multi-Touch-Oberfläche. Die in den Modulen integrierten Emitter spannen einen Lichtvorhang über die Bildschirmfläche auf, Unterbrechungen der Lichtfläche werden von den eingebauten Sensoren erkannt und mittels komplexer Algorithmen zu Bewegungsdaten umgerechnet. Dies ist notwendig, da es durch den Aufbau zu optischen Verzerrungen kommt und Effekte, die durch das Umgebungslicht auftreten, nachträglich herausgerechnet werden müssen.


Abbildung 9: Einbau eines Infra Red Light Plane Rahmens in ein Standard LCD Display11

Abbildung 10: Infrarot-Emitter und -Sensor12



Ja


2 (durch algorithmische Eliminierung von Verdeckungseffekten)


Verdeckungseffekte

Berührungsfrei Ja Erkennung von Umrissen Ja Zuordnung von Bewegungen zu Personen möglich

Nein

Auch zeichnen mit Stift möglich Ja Latenz Gering Präzision Hoch Bildschirmdiagonale (Größe des Benutzerinterfaces)

Geeignet für kleine und große Displays


Flachbauweise möglich

Tabelle 8: Eigenschaften des Verfahrens Infra Red Light Plane

11 Quelle: http://www.nextwindow.com/website_graphics/2101_overview.png 12 Quelle: http://www.nextwindow.com/website_graphics/1900_solidwrks_corner_200w.gif


2.3 Vergleich und Bewertung

Die vorgestellten Verfahren unterscheiden sich in vielen Bereichen sehr stark voneinander. Die Eignung der einzelnen Technologien ist stark vom geplanten Einsatzbereich und Anwendungsfall sowie den daraus resultierenden Anforderungen abhängig. Dies betrifft wesentliche technischen Eigenschaften von Multi-Touch-Hardware, wie etwa die benötigte Bildschirmgröße und das Bauvolumen, die Anzahl simultan detektierbarer Bewegungen, sowie die Tageslichttauglichkeit.

Während die Rückprojektionsverfahren wie FTIR, DI und LLP ausschließlich für große und statische Bildschirme geeignet sind, richten sich kapazitive Verfahren primär an kleine, mobile Geräte. Bedingt durch den Minimalabstand zwischen Projektor und Projektionsfläche ist bei den Verfahren FTIR, DI und LLP ausreichend Platz in der Tiefe notwendig. Die Transportfähigkeit bei solchen auf Rückprojektion beruhenden Verfahren ist daher bei großen Bildschirmdiagonalen nur eingeschränkt gegeben.

Da die Erkennung von Bewegungen mit Hilfe von IR-Strahlung erfolgt, ist ein Betrieb im Freien oder hell beleuchteten Räumen ohne spezielle Oberflächenfilter nicht möglich, da Sonnenlicht intensives IR Licht aussendet und sonst Berührpunkte nicht mehr von der Umgebung unterscheidbar sind.

Kapazitive Verfahren sind hingegen unempfindlich gegenüber externen Lichtquellen und deshalb auch im Freien ohne Beeinträchtigung der Sensorik nutzbar. In Sachen Skalierbarkeit im Verhältnis zum Preis punkten Rückprojektionsverfahren. Unter Verwendung eines hochauflösenden Projektors und höherwertigen Kameras oder auch mehreren Projektoren und Kameras können extrem große Bilddiagonalen realisiert werden. Kapazitive Verfahren in vergleichbarer Größe wären hingegen deutlich kostspieliger und sind zudem momentan nicht auf dem Markt verfügbar.

Während die Herstellung kapazitiver Multi-Touch-Screens industrielle Fertigungsverfahren erfordert, können FTIR, DI und LLP Schirme auch im Eigenbau gefertigt werden. Im Internet finden sich hierzu zahlreiche Anleitungen und Erfahrungsberichte.

Auch die kamera- und rückprojektionsbasierten Infrarot-Verfahren FTIR, DI und LLP unterscheiden sich in einigen relevanten Punkten untereinander.

Mit DI können nicht nur Berührpunkte festgestellt werden sondern auch Objekte oder Marker, die sich unmittelbar über der Projektionsfläche befinden, erkannt werden. Dadurch ist es beispielsweise möglich, Hände zu erkennen und die Berührpunkte den jeweiligen Händen zuzuordnen, was für die Realisierung von Multi-User-Anwendungen einen Vorteil im Zusammenhang mit der Auswertung von Steuerungsgesten darstellt.

Sowohl DI als auch LLP ermöglichen die berührungsfreie Nutzung, bei der Anwender keinen Mindestdruck auf die Berührungssensitive Fläche ausüben muss, und eine leichte Berührung ausreicht.


Eine Besonderheit im Umfeld der infrarotbasierten Multi-Touch-Technologien stellt der IR-Lichtvorhang dar. Da hier die Sensorik nicht unter der Bildschirmfläche sondern an den Rändern darauf angebracht ist, sind diese Verfahren sehr für die Montage auf herkömmlichen Flachbildschirmen geeignet. Die Bautiefe ist dabei sehr gering. Ein wesentlicher Nachteil des Verfahrens hingegen ist die eingeschränkte Multi-Touch Fähigkeit , da es gerade aufgrund der seitlich angebrachten Sensorik zu Verdeckungseffekten durch die Finger kommt (Ghosting), und dadurch in der Regel lediglich zwei Finger gleichzeitig zuverlässig detektiert werden können.


3 Multi-Touch Hardware

Das Kapitel Hardware beschreibt exemplarisch die im Studienzeitraum auf dem Markt verfügbaren und angekündigten Multi-Touch Produkte (Stand Januar 2009). Die Hardwareprodukte wurden analysiert und anhand der Technologie-Kriterien bewertet. Dabei spielen die verwendete Technologie, die Kosten und die Integrierbarkeit in andere Systeme eine zentrale Rolle. Es wird dabei grundsätzlich unterschieden, ob die Hardware »offen« verfügbar, oder »geschlossen« in einem Gesamtsystem integriert ist. Offene Systeme bestehen häufig lediglich aus der Komponente »Display«, die zur Realisierung eines Multi-Touch fähigen Systems benötigt wird. Andere Systemkomponenten wie Rechner und Peripherie werden hier zusätzlich benötigt. Im Gegensatz dazu stellen geschlossene Systeme Gesamtlösungen dar, die ohne weitere Komponenten eingesetzt werden können, jedoch auch häufig bestimmte Einschränkungen in der Erweiterbarkeit implizieren. Die Hardwareprodukte werden erst getrennt beschrieben und bebildert, später in einer Tabelle anhand der Technologie-Kriterien gegenüber gestellt und verglichen.

Die Entwicklung neuer Hardwareprodukte mit bekannten Technologien, aber auch mit neuartigen Technologien, schreitet rasant voran. Aus diesem Grund sind die hier beschriebenen Hardwarelösung als Beispiele für bestimmte Hardwareausführungen und Bauvolumina zu verstehen. Es erscheinen regelmäßig neue Hardwareprodukte auf dem Markt, die sich jedoch häufig in eine der beschriebenen Ausführungen einordnen lassen. Ebenso schnell verschwinden angebotene Lösungen wieder oder werden durch neue ersetzt. Maßgeblich zur Bestimmung der Hardwareprodukte ist wieder die verwendete Basistechnologie für die Umsetzung der Multi-Touch-Funktionalität.

3.1 Beschreibung der Hardware-Systeme

3.1.1 Apple - iPhone

Das iPhone von Apple gilt als bislang bekanntestes Multi-Touch-Gerät. Die Oberfläche des Smartphones besteht anders als bei bisherigen Mobiltelefon-Generationen lediglich aus einem großen kapazitiven Multi-Touch-Display. Die Bedienung erfolgt primär durch Interaktion mit dem Display durch Single- und Multi-Touch-Gesten, am Gerät sind nur wenige Tasten angebracht.

Durch das bereits veröffentlichte Software Developer Kit (SDK) lassen sich eigene Anwendungen für das iPhone programmieren. Dabei kann beispielsweise direkt auf die Daten der Touchpunkte auf dem Display und des Neigungssensors zugegriffen werden. Das iPhone stellt eine solide Basis dar, um eigene Multi-Touch-Anwendungen prototypisch auf einem mobilen Gerät umzusetzen und zu testen.13

13 Vgl. http://www.apple.com/de/iphone


Abbildung 11: Das Mobiltelefon »iPhone« mit Multi-Touch-empfindlichem Display

Abbildung 12: Das Display ist mit Folienschichten überzogen, die kapazitiv Berührungspunkte erkennen14

Abbildung 13: Die Steuerung mit Single- und Multi-Touch-Gesten15

3.1.2 Dell - Latitude XT

Das Notebook Latitude XT von Dell verwendet eine ebenfalls kapazitive Display-Oberfläche aus dem Hause N-Trig.16 Die Software im Lieferumfang beschränkt sich auf Single-Touch Anwendungen unter Windows Vista. Mit dem neuen Treiber ist das Display auch für Multi-Touch verwendbar (Stand November 2008). Die Touch-Funktionalität kann mit den Fingern oder einem speziellen Stift genutzt werden.

Vorteil des Systems ist die Kombination aus 12.1 Zoll Multi-Touch-Display und kompakter Dell Notebook-Hardware. Das Display kann gekippt und gedreht werden, jedoch nicht komplett abgekoppelt werden. Aufgrund der Displaygröße und Einbauform eignet sich das System nur bedingt für Multiuser Anwendungen.

14 Quelle: http://static.howstuffworks.com/gif/iphone-11.gif 15 Quelle: http://setupmac.com/images2/iphone-pinch.jpg 16 Siehe auch www.n-trig.com


Dennoch kann das Latitude XT als leistungsstarkes, kompaktes und transportables Gesamtsystem verwendet werden, ohne dass zusätzliche Hardware für den Betrieb benötigt wird.17

Abbildung 14: Dell Latitude XT mit schwenkbarem Display18

Abbildung 15: Dell Latitude XT als »Tablet PC«19

3.1.3 Microsoft - Surface

Der Multi-Touch-Tisch »Surface« von Microsoft mit einer Bilddiagonalen von 30 Zoll ermöglicht aufgrund seiner Größe eine Interaktion durch mehrere Nutzer gleichzeitig. Dieses geschlossene Gesamtsystem ist konzipiert für kollaborative Aufgaben im Bereich Freizeit und Arbeit. Das System basiert auf Rückprojektion und der Diffused Illumination (DI) Technologie. Surface stellt ein Gesamtsystem dar mit integriertem Rechner und Projektionseinheit dar. Microsoft bezeichnet diese neue Systemform als »Surface Computing«.

Der Multi-Touch-Tisch hat die Maße eines kleinen Couch-Tischs und kann aufgrund der horizontalen Ausrichtung der Projektionsfläche von allen Seiten betrachtet und bedient werden. Dies ermöglicht den Nutzern sich um den Tisch zu versammeln und gleichzeitig zu interagieren.

Die verwendete Technologie DI ermöglicht ebenfalls das Erkennen von Gegenständen, die auf der Projektionsfläche platziert werden mittels visueller Objekterkennung. Angedacht ist auch eine kabellose Datenübertragung (beispielsweise mittels RFID, Bluetooth). Surface nutzt dies für die Kommunikation mit externer Hardware wie Digitalkameras, Mobilfunkgeräten und Mediaplayern. Die visuelle Objekterkennung erfolgt durch Tags, die auf der Unterseite der Objekte angebracht sind, ebenso können Umrisse erkannt werden. Mit den verwendeten »Domino-Tags« lassen sich standardmäßig 256 Objekte erkennen und verfolgen.20

17 Siehe auch http://www.dell.com/tablet 18 Quelle: http://blog.bluefur.com/wp-content/uploads/2008/03/dell-xt.png 19 Quelle: http://www.dell.com/downloads/global/corporate/press/lat_xt_open_flat.jpg 20 Siehe auch http://www.microsoft.com/surface/index.html


Abbildung 16: Microsoft Surface PC21 Abbildung 17: Funktionsprinzip Microsoft Surface PC22

Abbildung 17 zeigt den Aufbau eines Microsoft Surface Tisches. Der Index (1) zeigt die horizontale Projektions- und Interaktionsfläche, die von einem herkömmlichen Beamer (4) bestrahlt wird. (2) stellt eine Infrarot-Lichtquelle mit 850nm Wellenlänge, die Projektionsfläche gleichmäßig ausleuchtend, dar. Der Index (3) zeigt 4 Sensoren (Kameras mit einer Auflösung von 1280x960), die von Finger oder Objekt reflektiertes infrarotes Licht aufnehmen. Die integrierte Recheneinheit ist ein handelsüblicher PC mit einem Core 2 Duo Prozessor, 2GB Arbeitsspeicher, einer 256MB Grafikkarte, sowie WiFi und Bluetooth. Der PC sendet das zu projizierende Bild an den Beamer und verarbeitet die Rohdaten der IR-Sensoren (vgl. [Derene 07]).

Das Produkt Surface ist mittlerweile als »stand alone« Version und in Kombination mit einem Developer Kit erhältlich.

3.1.4 IntuiLab - Intuiface Multi-Touch Tisch

Der Hard- und Softwareanbieter IntuiLab bietet die Gesamtlösung »Intuiface« an, die eine Hard- und Software-Plattform darstellt, um explizit Multi-User Touch-Anwendungen zu realisieren. Im Moment führt IntuiLab zwei Multi-Touch Tische (genannt Intuiface 1G und 2G) mit 40 und 45 Zoll Bildschirmfläche. Die Tische basieren vermutlich auf FTIR Technologie. Das Bauvolumen entspricht dem eines kleinen Tischs (110x90x90cm, bzw. 140x96x95cm). Im Gegensatz zum Microsoft Surface erfolgt die Nutzung im Stehen.

21 Quelle: Microsoft Pressebild, http://blogs.guardian.co.uk/technology/microsoftmilan.jpg 22 Quelle: http://www.popularmechanics.com/technology/industry/4217348.html?page=2


Es wird außerdem ein Software-Kit, genannt IntuiKit angeboten, dass die Entwicklung von Multi-Touch-Applikationen mit WPF (Windows Presentation Foundation), Adobe Air oder Perl ermöglicht.

IntuiLab versteht sich als Hersteller von Gesamtsystemen und Anbieter von Programmierleistung und verkauft deshalb den Intuiface nur als Option mit einem Softwareentwicklungsauftrag oder »Intuiface Presentation Manager« Software. Die Hardware ist ausdrücklich nicht als »stand alone« erhältlich.23

Abbildung 18: Der Intuiface Multi-Touch Tisch mit einer Beispiel-Applikation24

3.1.5 Evoluce – Multi-Touch-Terminal

Evoluce (ehemals »Lumin«) ist eine in Deutschland bei München ansässige Firma spezialisiert auf Projektionsdisplays. Angeboten wird als Serienversion ein 22 Zoll großes Display basierend auf einem LCD Screen kombiniert mit der DI Technologie mit mehreren Kameras zur Touch-Erkennung. Diese Kombination ermöglicht eine geringere Bautiefe als es bei anderen Modelle mit Di oder FTIR Technologie ist. Laut Evoluce sind Touch-Displays mit Bautiefe von circa 20-30 cm möglich. Dank einer speziellen Filterfolie sind die Screens tageslichttauglich.

Die verwendete Technologie-Variante ermöglicht es theoretisch, eine unbegrenzte Anzahl von Touch-Punkten zu erfassen. Zudem können Touch-Punkte einer Hand

23 Siehe auch http://www.intuiface.com/index.php 24 Quelle: http://www.intuiface.com/images/stories/bruaursebtel.jpg


zugeordnet werden, Objektformen erkannt werden und berührungslose Interaktion bei Annäherung statt finden. Es ist ebenfalls möglich den Screen als eine Art Scanner zu verwenden, mit dem aufliegende Objekte farbig abgescannt werden. Das Gesamtsystem kann in ein Terminal eingebaut werden mit integrierter Rechnerkomponente aus dem Hause Apple (Mac Mini) oder als separates Touch-Display verwendet werden. Evoluce bietet ein umfangreiches Softwarepaket an, das aus dem Tracker, Beispiel-Anwendungen (Google Earth MT, Photo Anwendung, Malen) und Bibliotheken für verschieden Programmiersprachen bestehend. Dazu zählt auch die Umgebung Adobe Flash mit ActionScript3, auf deren Basis eigene Prototypen entwickelt werden können.

Das 22 Zoll Modell liegt preislich bei 6000 Euro. Neben der 22 Zoll Variante werden beliebige kundenspezifische Modelle angeboten, mit einer Größe von bis zu 100 Zoll. Auch eine zweite Serienvariante mit 42 Zoll ist verfügbar.25

Abbildung 19: Evoluce Multi-Touch26

Abbildung 20: Bauvolumen eines Multi-Touch Terminals27

3.1.6 »Open Source Projekt« – CUBIT

CUBIT ist ein Open Source Projekt und beschreibt den Eigenbau eines Multi-Touch-Tischs ähnlich dem Microsoft Surface PC. Die Standard-Displaygröße beträgt 33 Zoll. Die einzelnen Bauteile kosten zusammen circa 1500-2500 Euro inklusive Projektor. Dieser Eigenbau ordnet sich somit preislich deutlich unter dem Microsoft Surface ein. Ein Vorteil ist die Leichtbauweise des CUBITs. Der Kasten besteht aus dünnen Kunststoffwänden und einer halbtransparenten Kunststofffläche, auf die das Bild projiziert wird.28

Auf der Webseite wird ein »Touchkit« zum Bauen eines Tisches angeboten, welches jedoch noch um zusätzliche Komponenten ergänzt werden muss (Stand Oktober 2009).

25 Siehe auch http:// www.evoluce.com 26 Quelle: http://www.lumin.de/multitouch/images/mt05.jpg 27 Quelle: http://www.lumin.de/multitouch/images/mt04.jpg 28 Vgl. [Cubit 08]


Abbildung 21: Version des Eyebeam CUBIT Multi-Touch-Tischs29

3.1.7 Natural User Interface – Horizon Multi-Touch Terminal

Die Firma Natural User Interfaces (NUI) entstand aus Mitgliedern einer Multi-Touch Open Source Community. Sie ist in Schweden ansässig und hat sich auf die Herstellung von Multi-Touch-Terminals und -Software spezialisiert. Erhältlich ist ein 42 Zoll Multi-Touch-Terminal mit integriertem Rechner und Softwarepaket (Tracker, Beispielanwendungen wie Karten, Spiele und Simulationen) und eine API. Eine Projektor-basiertes FTIR Verfahren wird verwendet, um Multi-Touch-Eingaben zu ermöglichen. Die Firma hat Verbindungen zur Open Source Community »NUI Group«30 und kann damit auf ein breites Wissen und zahlreiche Konstruktions-Beispiele zurückgreifen. Laut Hersteller ist der Multi-Touch-Tisch vandalensicher. Das Bauvolumen ist ähnlich dem des Intuiface Multi-Touch-Tisches.

Neben dem Terminal bietet NUI maßgeschneiderte Lösungen an, wie horizontal oder vertikal ausgerichtete Projektionsflächen.31

29 Quelle: http://www.netzwelt.de/images/articles/eyebeam-cubit-1210079467.jpg 30 Siehe auch http://nuigroup.com 31 Siehe auch http://www.natural-ui.com


Abbildung 22: Horizon Multi-Touch-Terminal von Natural User Interfaces32

3.1.8 GestureTek – Multi-Touch Tische und Displays

GestureTek ist eine in den USA ansässige Firma mit Fokus auf interaktive Displays und gestenbasierte Interaktion und bietet dafür Hard- und Softwarekomponenten an. Die Hardware reicht von großen Multi-Touch-Tischen zu vertikalen Wand-Displays und kleineren Kiosks. GestureTek versteht sich als Lieferant von maßgeschneiderten Lösungen. Die Software und Hardware werden je nach Bedarf individuell entwickelt.33

Abbildung 23: Multi-Touch Tisch von GestureTek34

32 Quelle: http://www.natural-ui.com/solutions/products.html 33 Siehe auch http://www.gesturetek.com/illuminate/productsolutions_illuminatetable.php 34 Quelle: http://www.gesturetek.com/images/gestpt/productsolutions/illuminatetable_concept.jpg


Abbildung 24: horizontale Wandinstallation von GestureTek35

3.1.9 Nexio – Touch Screen Frames und Touch Displays

Die Firma Nexio vertreibt Multi-Touch fähige Rahmen und Displays in den Größen 10.4 Zoll bis 100 Zoll. Die Touch-Rahmen bestehen im Gegensatz zu den Displays lediglich aus einem Rahmen mit den Hardwarekomponenten darin, und eventuell einer stabilisierenden Glasscheibe. Dieser Rahmen und kann beliebig über oder vor einer Projektionsfläche oder einem Display montiert werden. Zur Erkennung wird bei den großen Displays das Verfahren »Infrarot-Lichtvorhang« verwendet. Lediglich kleine Displays von 10.4 bis 15 Zoll arbeiten mit kapazitiver Erkennung.36

Die kompletten Displays haben ein flaches Bauvolumen, ähnlich dem eines herkömmlichen TFT-Monitors. Die Touch-empfindliche Fläche befindet sich direkt über der Bildfläche, was sich positiv auf die Genauigkeit bei der Interaktion mit dem Display auswirkt.

Das Bauvolumen der Rahmen ist mit einer Höhe von circa 10mm sehr gering. Sie können somit gut und flexibel montiert werden. Anders als bei der Version mit integriertem Display muss hier jedoch darauf geachtet werden, dass die Touch-empfindliche Oberfläche aufgrund des Aufbau-Prinzips je nach verwendetem Display räumlich von der Bildfläche getrennt ist. Bei wachsendem Abstand wird es für den Benutzer schwieriger, in den Eckbereichen des Rahmens präzise auf Objekte zu zeigen, und es treten Parallaxefehler auf. Bei der Montage eines Touch-Rahmens ist somit darauf zu achten, dass er möglichst nahe, parallel zum Display angebracht wird.

Bei den größeren Displays und Rahmen, die Infrarot-Technologie verwenden, kann wahlweise mit dem Finger, Stift oder anderen Objekten interagiert werden. Das erzeugen eines detektierbaren Berührungspunktes erfordert keine Kraft, da lediglich der hauchdünne Lichtvorhang durchbrochen werden muss.

35 Quelle: http://www.gesturetek.com/illuminate 36 Siehe auch www.nexiotouch.com


Abbildung 25: Ein auf ein beliebiges Display montierbarer Rahmen von Nexio37

Abbildung 26: Die verwendete Technologie »IR-Lichtvorhang« ermöglicht eine flache Bauweise der Nexio Touch-Rahmen38

Abbildung 27: Nexio Touch Screen »NEX Serie Industrie«, erhältlich in 10.4-19 Zoll39

Abbildung 28: Nexio Touch Screen »NOP Serie Industrie«, erhältlich in 15-19 Zoll40

Der Hersteller Nexio hat für seine Touch-Displays und -Rahmen eigene Filter entwickelt, die sie ausfallsicherer gegen Tageslicht machen. Die Filter ermöglichen dadurch einen Einsatz der Technologie im Außenbereich.41 Mit dem Gerät wird eine Programmierschnittstelle zur Verfügung gestellt, die es ermöglicht, auf die Rohdaten zuzugreifen und eigene Interfaces zu programmieren.

37 Quelle: http://www.nexiotouch.com/components/com_virtuemart/shop_image/product/55dc3dce989106fcfc25feaea5d8c735.jpg 38 Quelle: http://inexio.co.kr/image/pd1.jpg 39 Quelle: http://www.nexiotouch.com/components/com_virtuemart/shop_image/product/8e27854972879f83731043ab4bc5e24c.jpg 40 Quelle: http://www.nexiotouch.com/components/com_virtuemart/shop_image/product/20e7cf3f26f77dea9e1523ffa41e185e.jpg 41 Siehe auch http://www.nexiotouch.com/content/view/24/1/


3.1.10 NextWindow – Multi-Touch Displays und Rahmen

Die Produkte von NextWindow sind den von Nexio ähnlich. Sie verwenden ebenfalls eine optische Erkennung der Touch-Punkte mittels Infrarot, jedoch die Technologie »Infra Red Light Plane«. Über der Interaktionsfläche wird mittels zweier »Infrarot-Sensoren« in den beiden oberen Ecken eine Lichtfläche aufgespannt (Bauteil enthält IR-Emitter und IR-Sensor). Die Sensoren in den Ecken erfassen Störungen (die Touch-Punkte) in der projizierten IR-Lichtfläche.

Das Bauvolumen ist auch hier sehr gering mit 9mm zusätzlich zu der Glasscheibe. Diese sehr flache Ausführung ermöglicht bei einigen LCD Displays den Einbau in das Display-Gehäuse zwischen Frontblende und Display-Screen.

Abbildung 29: Einbau eines flachen NextWindow Touch Rahmens in ein Standard LCD Display42

Abbildung 30: Infrarot-Emitter und -Sensor in den NextWindow Touch Displays und Rahmen43

Die NextWindow Touch-Displays und -Rahmen sind erhältlich in den Größen von 30 Zoll-120 Zoll, auf Wunsch auch Sondergrößen. Bei der optischen Erkennung ist kein hoher Druck auf die Interaktionsfläche nötig und es können beliebige nicht-transparente Objekte zur Interaktion genutzt werden (Finger, Stift, Handschuh, etc.) Wie beim Nexio wird eine transparente Glasscheibe als Träger verwendet.

NextWindow stellt zum Touchscreen eine USB Schnittstelle, die die Rohdaten bei Touch-Interaktion zur Verfügung stellt. Es können somit eigene Interfaces programmiert werden.44

42 Quelle: http://www.nextwindow.com/website_graphics/2101_overview.png 43 Quelle: http://www.nextwindow.com/website_graphics/1900_solidwrks_corner_200w.gif 44 Siehe auch http://www.nextwindow.com/products/index.html


Abbildung 31: Next Window Touch Frame45

Abbildung 32: Installation eines NextWindow Multi-Touch Frames vor einem Monitor46

3.1.11 Interactive Displays – Multi-Touch Rahmen, Displays und Folien

Die Firma Interactive Displays GmbH mit Sitz in Offenbach bei Frankfurt ist kein Hardware-Hersteller an sich, vertreibt jedoch interessante Lösungen für verschiedene Anwendungsszenarien. Auch Displays- und Rahmen des Herstellers NextWindow werden angeboten. Neben den Displays und Rahmen bietet die Interactive Displays GmbH verschiedene Klebefolien auf Basis oberflächenkapazitiver Technologie an. Die Folien werden von innen auf eine Glasscheibe geklebt und können wahlweise mit einem Display oder einer Rückprojektion mit Bildinhalten gefüllt werden. Der Hersteller der Folien wird nicht genannt. Aktuell unterstützt der Treiber nur Single-Touch Eingaben. Technisch sind die Folien auf oberflächenkapazitiver Basis nach Modifizierung des Treibers und Filterung der Ghosting Effekte Dual- und bedingt Multi-Touch fähig.47

Abbildung 33: Touch-empfindliche Folie48

Abbildung 34: Montage der Folie auf Rückseite einer Glasscheibe49

45 Quelle: http://www.nextwindow.com/new_shared/2150_branded.jpg 46 Quelle: http://www.nextwindow.com/website_graphics/2400_solution.jpg 47 Siehe auch http://www.interactive-displays.de/de/loesungen 48 Quelle: http://www.interactive-displays.de/img/content_box_folie2.gif 49 Quelle: http://www.interactive-displays.de/img/content_box_folie.gif


Abbildung 35: Anwendung an einer 100 Zoll Scheibe im Format 16:950

3.1.12 Albatron – Multi-Touch Displays

Der Hersteller Albatron stellte auf der Messe »Computex« 2008 ein 22 Zoll Multi-Touch Display vor, das wie die Lösungen von NextWindow einen Infrarot-Lichtvorhang zur Erkennung verwendet. Die Emitter und Sensoren sind ebenfalls in den Ecken angebracht. Größere Displays mit Maßen von 24 Zoll und aufwärts benötigen einen weiteren Sensor in der Displaymitte.

Das Ziel Albatrons ist es, ein Multi-Touch Display anzubieten, dass nur knapp 20 Prozent teurer ist, als herkömmliche Displays. Die verwendete Technologie ist laut Hersteller sehr günstig. Die Kosten des Endprodukts sollen somit rund 60 Prozent unter denen anderer Multi-Touch-Hardware auf dem Markt liegen. 51

Bislang ist noch keine kommerzielle Version auf dem Markt erschienen (Stand Dezember 2008).

Abbildung 36: Albatron Multi-Touch Display52

50 Quelle: http://www.interactive-displays.de/img/content_box_schaufenster.gif 51 Vgl. [WiFu 08] 52 Quelle: http://www.tomshardware.com/de/fotostrecken/Albatron-Multi-Touch,0101-107893-0-2-3-0-jpg-.html


3.1.13 LG.Philips LCD - Multi-Touch Display

Das Joint Venture LG.Philips LCD stellte auf der Messe CES 2008 ein 52 Zoll Multi-Touch-Display mit einer Auflösung von 1920 × 1080 Bildpunkten vor, sowie eine Kombination aus vier baugleichen 42 Zoll Displays mit der selben Auflösung. Die verwendete Technologie basiert laut Hersteller auf Infrarotsensoren mit denen zwei Punkte erfasst und verfolgt werden können.

Laut Angaben sollen sich die 42-Zoll-Displays mit einem transflektiven Flüssigkristallschirm für den Einsatz bei Tageslicht eignen. Er reflektiert das Umgebungslicht und soll so eine sehr hohe Leuchtdichte von 1500 cd/m2 erreichen. Die Displays werden noch nicht kommerziell verkauft und sind auch nicht online im Produktkatalog zu finden.53

Abbildung 37: LG-Phillips LCD Multi-Touch-Display auf des CES 200854

3.1.14 Perceptive Pixel – Multi-Touch Wall

Die Multi-Touch Wall von Perceptive Pixel basiert auf der FTIR Technologie, die vom Gründer Jeff Han entwickelt wurde. Seit Oktober 2007 werden für rund $100.000 Einzelstücke des Produkts angeboten, bislang ist keine Produktion in größerer Stückzahl gestartet. Auf der Internetseite von Perceptive Pixel sind keine Produktspezifikationen zu finden. Daraus ist zu schließen, dass sich diese Hardwarelösung noch immer im Entwicklungsstadium befindet. Eine Marktreife bleibt abzuwarten (Stand November 2008).55

53 Siehe auch http://www.heise.de/newsticker/LG-Philips-zeigt-52-Multi-Touch-Display--/meldung/101299 54 Quelle: http://www.lgphilips-lcd.com/adminContain/files/(Photo)%2052-inch%20Multi-touch%20Screen.jpg 55 Siehe auch http://www.perceptivepixel.com


Abbildung 38: Multi-Touch Wall von Jeff Hahn56

3.1.15 MultiTouch – Cell

Die Firma Multi-Touch aus Finnland verfolgt einen interessanten Ansatz der DI-Technologie. Die Firma hat ein Konzept entwickelt, bei dem sich modular mehrere Multi-Touch »Zellen« (Cells) zu größeren Komponenten verbinden lassen. Es wird ein Komplettpaket aus Hardware und Software angeboten, sowie auch große, projektor-basierte Multi-Touch-Wände als Gesamt-System.

56 Quelle: http://www.digitaldrops.com.br/drops/imagens/mediawall_jeffhan.jpg


Abbildung 39: Zwei MultiTouch »Cells« modular miteinander verbunden57

Im Gegensatz zu anderen Komponenten erkennen die »Cells« die Orientierung einer Hand des Nutzers, und können die einzelnen Finger so einer bestimmten Hand zuordnen. Diese Möglichkeit ist besonders in Multi-User Szenarien wichtig, um einzelne Touch-Punkte verschiedenen Händen zuzuordnen.58 Die Cells liegen mit beispielsweise 11.500 Euro für eine Zelle mit einer Diagonale von 46 Zoll, im oberen Preissegment, ähnlich dem Microsoft Surface.

Abbildung 40: Multi-User Szenario mit Cell-Modulen59

Abbildung 41: Kombinationsbeispiel von einzelnen Cell-Modulen60

57 Quelle: http://www.blogcdn.com/de.engadget.com/media/2008/09/multitouch2.jpg 58 Siehe auch http//multitouch.fi 59 Quelle: http://s3.amazonaws.com/multitouch/images/mt-projector-boxes.jpg 60 Quelle: http://s3.amazonaws.com/multitouch/images/mt-lcd-boxes-combinations.jpg


3.1.16 N-trig – Multi-Touch Panels

N-trig entwickelt, produziert und verkauft Hardware um Benutzereingaben zu digitalisieren. Dazu gehören auch Multi-Touch Panels, die in ein vorhandenes Display oder ein Notebook eingebaut werden können.

Auf der Homepage finden sich zahlreiche Informationen dazu, welche Interaktionstechniken mit Multi-Touch eröffnet werden, jedoch nur spärlich zu der Hardware an sich. Die Größe der kapazitiv arbeitenden Panels ist vermutlich auf die Größe 15 oder 17 Zoll begrenzt. Sie sind laut Hersteller sehr flach und integrieren Touch-empfindliche Oberfläche und »Digitalisierer« in einer Hardwarekomponente. Die Panels eignen sich für den Einbau in oder den direkten Aufbau auf Displays, können jedoch nur bedingt als zur Ergänzung beliebiger Systeme genutzt werden, da sie keinen stabilen Rahmen besitzen, wie die Systeme von Nexio oder NextWindow.61

3.1.17 Stantum – Multi-Touch Display

Stantum bietet Multi-Touch Varianten in verschiedenen Größen an, oberflächen-kapazitive 2,5 bis 4,3 Zoll Touch-Glas-Displays sind zusammen mit einem »Multi Touch Development Kit« erhältlich. Ein größeres 12 Zoll Multi-Touch Display ist in der Entwicklung. Stantum richtet sich mit seiner Website vor allem an Firmenkunden, und möchte mit seinem Multi-Touch Framework Touch Park größtmöglichen Freiraum in der Anwendungsprogrammierung bieten. Geliefert wird neben dem Touch-Display eine Vielzahl von Beispielanwendungen und ein Development Kit mit Multi-Touch Treibern für Windows, Mac und Linux, sowie eine API (inklusive Multi Cursor Library). Dieses Komplettpaket soll eine solide Basis für die Entwicklung von Multi-Touch Anwendungen bieten. Bislang werden leider keine größeren Displays angeboten.62

Abbildung 42: Stantum SMK 15,4 63

61 Siehe auch http://www.n-trig.com/ 62 Siehe auch http://www.stantum.com/spip.php?article75 63 Quelle: http://www.stantum.com/IMG/jpg/SMK_15.4-2.jpg


3.2 Hardware-Übersicht

3.2.1 Bewertungskriterien

Die Hardwareprodukte wurden anhand der folgenden Kriterien bewertet:

Tabelle 9: Bewertungskriterien der Hardware-Komponenten


3.2.2 Übersichtstabelle

Die folgenden Tabelle zeigen die Einstufung der verschiedenen Hardware-Komponenten in die Bewertungskriterien:

Tabelle 10: Übersichtstabelle der Hardware-Komponenten, erster Teil


Tabelle 11: Übersichtstabelle der Hardware-Komponenten, zweiter Teil



Es befinden sind mittlerweile einige unterschiedliche Multi-Touch Produkte auf dem Markt, die sich hauptsächlich durch die zugrunde liegende Multi-Touch-Technologie unterscheiden. Jede Technologie besitzt charakteristische Vor- und Nachteile bezüglich Funktionalität, Größe der Interaktionsfläche, Bauart und -volumen und Preis. Die Recherche zeigt, dass alle denkbaren Anforderungen an die Hardware nicht mit einer einzigen Hardware-Lösung abgedeckt werden können. Es ist vielmehr notwendig, die richtige Lösung für ein konkretes Anwendungsszenario zu bestimmen.

Produkte, die DI oder FTIR verwenden, sind aufgrund der Kameras und Projektoren meist mit einem größeren Bauvolumen in der Tiefe verbunden. Andererseits sind mit diesen Technologien sehr große Interaktionsflächen möglich. Es können zudem theoretisch eine unbegrenzte Anzahl von Touch-Punkten und auch Objekte erfasst werden, sensorische Einschränkungen wie »Ghost Points« treten hier nicht auf. Der Multi-Touch Tisch »Surface« von Microsoft bietet hier eine weit ausgereifte Lösung, die für circa 15.000 Euro verkauft wird, ein Software Development Kit ist erhältlich. Fraglich bleibt, in wie weit dieses geschlossene System hard- und softwareseitig modifiziert werden kann.

Das offene System »Cell« von MultiTouch verfolgt einen Ansatz bei dem einzelne Komponenten modular kombiniert werden können. Die Größe und Form der Interaktionsfläche ist somit flexibel gestaltbar. Diese Lösung ist jedoch verhältnismäßig teuer und bislang nur aus Einzelbauteilen zusammensetzbar.

Ein weiteres interessantes Produkt hat der Hersteller Evoluce im Sortiment mit einem LCD-Screen in Kombination mit einer DI Technologie. Diese Produkte verbinden die Vorteile der optischen Erkennung DI (Objekterkennung, Hand-Punkt-Zuordnung, berührungslose Interaktion) mit einer relativ geringen Bautiefe (20-30cm). Die Produkte dieser Serien bieten bislang die beste Kombination aus Funktionalität und Bautiefe. Ein 22 Zoll Screen ist aktuell für circa 6.000 Euro zu kaufen, eine 46 Zoll Version ist angekündigt.

Im Gegensatz dazu weisen Lösungen die kapazitiv arbeiten, ein deutlich geringeres Bauvolumen auf. Sie sind jedoch stark in der Größe der Interaktionsfläche auf derzeit circa 15 Zoll begrenzt. Für die Entwicklung von Multi-Touch Anwendungen bietet sich laut Hersteller das »Multi Touch Development Kit« von Stantum an, da es mit umfangreichen Entwicklertools und Bibliotheken ausgeliefert, eine solides Paket zum Entwickeln darstellt. Die Größe der Interaktionsfläche ist bislang jedoch begrenzt. Einzige Ausnahme, die Größe der Interaktionsfläche betreffend, bietet eine kapazitive Touch-Folie wie sie von der Firma Interactive Displays GmbH vertrieben wird. Folie in der Größe von 40 Zoll kostet circa 1.500 Euro, bei 60 Zoll sind es 1.900 Euro. Bislang ist der Treiber für die Folie jedoch nur Single-Touch fähig. Es bleibt abzuwarten, ob die Folie mit entsprechendem Treiber voll Multi-Touch fähig ist.

Produkte auf Basis von Infrarot-Lichtvorhang und -Lichtfläche weisen ebenfalls eine geringe Bautiefe auf, sind transportabel und flexibel mit bereits bestehenden Projektions- und Displaykomponenten kombinierbar. Hier treten jedoch sensorische


Einschränkungen wie »Ghost Points« auf, die softwareseitig behoben werden müssen. Viele Hardwaretreiber unterstützen deshalb standardmäßig nur zwei Touch-Punkte um diese Problematik zu umgehen. Eine Modifizierung der Treiber ist meist notwendig. Zudem können Touch-Punkte nicht einer Hand oder Person zugeordnet werden und keine Objekt-Umrisse erkannt werden. Für Anwendungsszenarien in denen eine Interaktionsfläche bis 100 Zoll benötigt wird und vorhandene Komponenten wie Displays oder Projektoren integriert werden sollen, bieten sich die Touch-Rahmen der Firma Nexio und NextWindow an. Beide liefern Rahmen bis 100 Zoll und eine API um eigene Anwendungen zu erstellen.


4 Multi-Touch Software

Ein wesentlicher Einflussfaktor für die weitere Verbreitung von Multi-Touch-Technologie ist neben der in Kapitel 3 beschriebenen Verfügbarkeit von Multi-Touch fähiger Hardware das Vorhandensein eines umfangreichen Softwareangebots. Besondere Bedeutung kommt hier der Unterstützung von Multi-Touch durch Betriebssysteme zu, welche die Entwicklung von hardware-unabhängig lauffähiger Anwendungssoftware ermöglicht.

4.1 Betriebssysteme

Multi-Touch-Betriebssysteme sind eine wesentliche Grundlage für die weitere Verbreitung von Multi-Touch-Technologie. Ein Multi-Touch-Betriebssystem ermöglicht, dass Anwendungen über standardisierte Schnittstellen mit beliebiger Multi-Touch-Hardware zusammenarbeiten können. Vom Hersteller der Hardware wird hierfür ein Treiber für das jeweilige Betriebssystem bereitgestellt. Durch diese Abstraktion der Hardware auf Betriebssystemebene können Softwareanwendungen indirekt über das Betriebssystem auf die Multi-Touch-Hardware zugreifen. Durch diese Standardisierung wird Software auf allen Endgeräten lauffähig, die das Betriebssystem unterstützen, sofern die notwendigen Treiber existieren. Neben der Verfügbarkeit preiswerter Multi-Touch-Hardware ist die Verfügbarkeit von Multi-Touch-Betriebssystemen wesentliche Voraussetzung für die Verbreitung von Multi-Touch auf dem Consumer-Markt, speziell im PC-Umfeld. Das bisher einzige verfügbare Multi-Touch fähige Betriebssystem MPX Linux, sowie das bisher angekündigte, jedoch noch nicht erhältliche Betriebssystem von Microsoft mit der bisherigen Bezeichnung Windows 7 werden im Folgenden beschrieben.

4.1.1 MPX Linux

Erstes und bisher einziges Multi-Touch fähiges Betriebssystem im Umfeld von PC-Hardware ist Linux mit einer X-Server-Modifikation, dem sogenannten Multi-Pointer X Server (MPX). MPX Linux ist in der Lage, mehrere Mauszeiger oder andere Eingabegeräte mit mehreren Bewegungsquellen wie Multi-Touch-Screens zu verwalten. Zur direkten Nutzung kann die beliebte Linux-Distribution »Ubuntu« mit der MPX-Modifikation direkt per Download bezogen werden.64 MPX-Linux-Varianten stellen eine Plattform dar, auf der Multi-Touch-Anwendungen betrieben werden können. MPX Linux hat in der momentan verfügbaren Version (Stand November 2008) noch Probleme mit der Verarbeitung von Steuerungsgesten, einige Mehrfingergesten werden noch fehlerhaft interpretiert. Der konkrete Anwendungsnutzen von MPX Linux ist aufgrund der geringen Verfügbarkeit von Multi-Touch-Applikationen für das Betriebssystem sowie die häufig fehlende Treiberunterstützung der Multi-Touch Hardware bislang noch recht gering.

64 Siehe auch http://wearables.unisa.edu.au/mpx


Abbildung 43: Globusnavigation auf MPX-Linux65

4.1.2 Microsoft Windows 7

»Windows 7«, der Nachfolger des aktuellen Microsoft-Betriebssystems »Windows Vista«, verfügt über Multi-Touch Unterstützung.66 Windows 7 kommt aufgrund der Marktstellung von Microsoft Windows bei Betriebssystemen eine Schlüsselrolle für den Erfolg von Multi-Touch-Technologien im PC-Consumer-Markt zu. Es kann davon ausgegangen werden, dass aufgrund der Marktdurchdringung von Microsoft Windows sowie dem bereits verfügbaren Multi-Touch-Hardware die Markteinführung von Windows 7 deutlich zur weiteren Verbreitung von Multi-Touch auch im Consumer-Bereich beitragen wird.

4.2 Multi-Touch Anwendungsfelder

Im Folgenden werden wesentliche Anwendungsbereiche bereits existierender Multi-Touch-Anwendungen beschrieben und aufgezeigt. Die jeweiligen Anwendungsbereiche werden anhand identifizierter, bestehender Applikationen aus diesen Bereichen illustriert.

4.2.1 Technologie-Demonstratoren

Eine Vielzahl der existierenden Multi-Touch-Anwendungen verfolgen neben der Darstellung der Interaktionsmöglichkeiten mit Multi-Touch-Endgeräten an sich, kein erkennbares und konkretes Anwendungsziel. Ursprung dieser Technologie-Demonstratoren sind in der Regel Forschungstätigkeiten im Bereich der Mensch-Maschine-Interaktion sowie studentische Projekte oder Projekte von Privatpersonen. Es

65 Quelle: http://www.golem.de/0707/53471.html 66 Vgl. [CT 08b]


existieren des Weiteren diverse Anwendungen, bei den es sich schwerpunktmäßig um erneute Implementierungen solcher, bereits bestehender Demonstratoren handelt.

Zu den bekanntesten Multi-Touch Technologie-Demonstratoren zählen die Anwendungen des Teams von Jeff Han67, welche bereits im Jahre 2006, also noch deutlich vor der Markteinführung des iPhones, ein hohes Maß an Aufmerksamkeit auf Multi-Touch-Technologie sowie die bestehenden Interaktionsmöglichkeiten gelenkt haben.

Jeff Han demonstriert mit diesen Anwendungen die Möglichkeiten bezüglich der Erstellung und der Nutzungsmöglichkeiten sogenannter »Natural User Interfaces« mit Multi-Touch-Technologie. Hierbei erfolgt die Steuerung durch intuitive Steuerungsgesten etwa zum hereinzoomen in Bildschirmbereiche oder zum verschieben oder manipulieren von auf dem Bildschirm befindlichen Objekten mit einem oder mehreren Fingern.

Abbildung 44: Multi-Touch Demonstratoren von Jeff Han68

4.2.2 Computerspiele

Ein weiterer Einsatzbereich von Multi-Touch-Technologie liegt im Bereich der Computerspiele. Insbesondere im Bereich der Spielesoftware für mehrere Spieler kann hier von den bestehenden Multi-User-Fähigkeiten der Technologie Gebrauch gemacht werden.

4.2.2.1 Firefly

Das erste Multi-Touch-Spiel für den Microsoft Surface PC (siehe Kapitel 3.1.3) ist das Spiel Firefly. Das Spiel wurde in den Microsoft Labs entwickelt. Ziel des Spiels ist es, diverse auf der Oberfläche des Surface PCs befindliche Glühwürmchen mit den Fingern einzusammeln. Der Reiz des Spiels liegt, neben der Multi-Touch-Interaktion an sich, in der stattfindenden Reaktion der Glühwürmchen auf die Berührungen der Spieler. Verglichen mit konventionellen, auf den Markt befindlichen Spielen, erfüllt Firefly die heute bestehenden Erwartungen im Bereich der Computergrafik allenfalls teilweise.

67 Siehe auch http://www.cs.nyu.edu/~jhan 68 Quelle: http://www.cs.nyu.edu/~jhan/ftirtouch


Abbildung 45: Firefly, ein erstes Computerspiel für den Microsoft Surface PC69

4.2.3 Virtuelle Musikinstrumente

Ein weiterer Bereich, in dem von Multi-Touch-Technologie Gebrauch gemacht wird, ist der Bereich der virtuellen Musikinstrumente. Hierbei wird sowohl die Multi-User-Fähigkeit von Multi-Touch-Endgeräten als auch die simultane Nutzungsmöglichkeit der Bedienelemente adressiert.

4.2.3.1 Reactable

Beim Reactable70 handelt es sich um ein virtuelles Musikinstrument für die simultane Nutzung durch mehrere Nutzer. Ähnlich dem Surface PC von Microsoft kombiniert es Multi-Touch-Technologie mit Objekterkennung unter Verwendung optischer Tags, den sogenannten »Fiducials«. Der Reactable wurde von der Music Technology Group am »Audiovisual Institute« der Universität Pompeu Faba entwickelt.

Abbildung 46: Optisch lokalisierbare Tags (Fiducials) des Reactivision Tables71

Durch Drehung und Positionierung der auf dem Tisch befindlichen Gegenstände sowie durch direkte Berührungen der Oberfläche kann das Klangverhalten des zum Tisch gehörigen Synthesizers beeinflusst und so eine interaktive Multi-User-Schnittstelle zur

69 Quelle: http://www.product-reviews.net/wp-content/userimages/2008/02/firefly-microsoft-surface.jpg 70 Siehe auch http://mtg.upf.edu/reactable sowie http://mtg.upf.es/reactable/pdfs/reactivision_tei2007.pdf 71 Quelle: http://mtg.upf.es/reactable/?pic=reactivision02.png


Klangerzeugung bereitgestellt werden. Die dem Reactable zugrundeliegende Software zur Fiduicial-Erkennung und zur Verfolgung der Multi-Touch-Bewegungen kann im Gegensatz zur eigentlichen Reactable Musik-Applikation kostenlos heruntergeladen werden.

Abbildung 47: Der Reactable – ein Interaktives Musikinstrument72

4.2.3.2 Pianist - iPhone Piano

Ein wesentlich simpleres, mobiles Musikinstrument ist das virtuelle Keyboard für das iPhone, das iPhone Piano.

Abbildung 48: Virtuelles Multi-Touch-Keyboard für das iPhone73

Hierbei wird die Multi-Touch Fähigkeit des iPhones genutzt, um wie bei einem echten Klavier mehrere Töne gleichzeitig anspielen zu können. Die Software kann eher als

72 Quelle: http://www.reactable.com 73 Quelle: http://www.moocowmusic.com/Pianist


Demonstrationsanwendung und weniger als professionelles Musikinstrument angesehen werden.

4.2.3.3 MultiKey

Ebenfalls eine Multi-Touch-Umsetzung einer Klaviertastatur stellt das MultiKey Projekt74 dar. Im Gegensatz zur Keyboard-Implementierung für das iPhone, ist die Software auf gewöhnlicher PC-Hardware lauffähig und unterstützt neben der Maussteuerung auch die Nutzung des »TUIO« -Protokolls, dass im Umfeld der Multi-Touch Community im Open Source Umfeld recht verbreitet ist.

Abbildung 49: Die Anwendung MultiKey75

MultiKey zählt zu den Projekten von Privatpersonen aus der Multi-Touch Community und hat ebenfalls Demonstrator-Charakter. Der Download und die Nutzung der Software ist kostenlos.

4.2.4 Grafikerstellung und -bearbeitung

4.2.4.1 Shared Design Space

Das Projekt Shared Design Space76 ist Teil des Media Interaction Labs der Fachhochschule Oberösterreich77. Shared Design Space kombiniert einen Multi-Touch-Screen mit digitalen Stiften zur Erstellung von Bildinhalten. Aufgrund der extremen Abmessungen des eingesetzten Tisches kann eine Vielzahl von Personen simultan an dem Tisch arbeiten und etwa Skizzen oder Zeichnungen erstellen. Die Software wird nicht kommerziell vertrieben.

74 Siehe auch http://ssandler.wordpress.com/category/software/multikey 75 Quelle: http://img159.imageshack.us/img159/2546/multikeyv2pi9.jpg 76 Siehe auch http://www.officeoftomorrow.org/index.php?id=8 77 Siehe auch http://www.fh-ooe.at


Abbildung 50: Shared Design Space78

4.2.4.2 Photoshop MT

Die Anwendung Photoshop MT ist ein Multi-Touch-Bildbearbeitungsprogramm und bietet einige der bei Bildbearbeitungssoftware gängigen Funktionalitäten. Photoshop MT lehnt sich bezüglich der Namensgebung an die bekannte Bildbearbeitungssoftware Adobe Photoshop an, steht allerdings mit nicht mit der Firma Adobe in Verbindung. Photoshop MT ist ein an der Hochschule für Gestaltung Schwäbisch Gmünd durchgeführtes Studentenprojekt. Die Anwendung realisiert einige interessante Ansätze bezüglich der Nutzung von Menüs in Multi-Touch-Benutzungsschnittstellen.

Abbildung 51: Multi-Touch-Bildbearbeitungstool Photoshop MT79

78 Quelle: http://mi-lab.org/projects/office-of-tomorrow/#sds 79 Quelle: http://www.youtube.com/watch?v=12vFpBhWaVM


4.2.5 Engineering-Anwendungen

Auch im Bereich der Engineering-Anwendungen existieren Multi-Touch-Applikationen.

Im Rahmen eines Gemeinschaftsprojekts wurde am Fraunhofer IGD ein Multi-Touch-Tisch für die Interaktion in und mit virtuellen Umgebungen entwickelt. Es wurde als Anwendungsfeld die hochauflösende Echtzeitdatenvisualisierung von Schüttgutanlagen gewählt. Hierbei kann durch die dreidimensionale Darstellung der Fabrikanlage navigiert werden. Die Anlage wird hierbei in Aktion dargestellt und gewährt dem Nutzer so Einblicke in die Funktion der Anlage. Die Software ist über das gewählte konkrete Anwendungsszenario hinaus prinzipiell geeignet in anderen Bereichen der Visualisierung virtueller Produktionsanlagen eingesetzt zu werden.

Abbildung 52:Multi-Touch Engineering-Anwendung des Fraunhofer IGD80

4.2.6 Terminalanwendungen

Bei dem Anwendungsfeld der Terminalanwendungen handelt es sich um Anwendungen, die in Form von Terminals wie etwa Fahrkartenautomaten eine direkte Kundenschnittstelle darstellen.

Microsofts Surface PC adressiert hier den Bereich der Produktauswahl und Konfiguration, beispielsweise in der Gastronomie. Bei von Microsoft ausgewählten Hotelketten werden Surface PCs genutzt, die es den Kunden des Hotels ermöglichen, Speisen und Getränke direkt am Multi-Touch-Tisch darzustellen und auszuwählen.

80 Quelle: http://a4www.igd.fraunhofer.de/projects/48


Abbildung 53: Microsoft Surface – Anwendung zur Produktauswahl im Gastronomieumfeld81

Eine ähnliche Anwendung des Surface PC ist die Auswahl und Konfiguration von Mobiltelefonen und den zugehörigen möglichen Vertragsmodalitäten. Für die auf dem Tisch befindlichen Mobilgeräte werden hier Zusatzinformationen eingeblendet und Auswahlmöglichkeiten über eingeblendete Menüs gegeben. Die Anwendung soll so Kunden in Mobiltelefongeschäften sowohl die Ansicht des realen Geräts als auch weitere interaktive Funktionalitäten bieten. Besonderheit hier ist die Kombination von Multi-Touch und der Erkennung der Endgeräte auf dem Surface PC sowie der Erkennung der Position der Endgeräte. Die Positionserkennung wird durch das Anbringen von optischen Tags an den Mobilgeräten ermöglicht, welche durch Bildauswertungsverfahren die Positionsbestimmung sowie die Bestimmung der Drehung der Tags ermöglichen. Somit ist diese Funktionalität nicht mit beliebigen Mobilgeräten möglich sondern erfordert, dass die Geräte zuvor mit den Tags entsprechend präpariert wurden. Die Anwendung ist eine Spezialanfertigung und wird nicht kommerziell vertrieben.

Abbildung 54: Microsoft Surface – Anwendung zur Auswahl von Mobiltelefon und Vertragskonfiguration82

81 Quelle: http://ak.buy.com/buy_assets/rsschannel/142/854150198/1.jpg


4.2.7 Informationsvisualisierung und -bearbeitung

Im Folgenden werden bestehende Anwendungen im Bereich der Visualisierung und Interaktion mit Daten- und Informationsmengen beschrieben.

4.2.7.1 Modellierung

Ein existierendes Anwendungsfeld im Bereich der Informationsvisualisierung und -bearbeitung ist das kollaborative Erstellen und Bearbeiten von Modellen. An der Ruhr-Universität wurde eine Anwendung entwickelt, mit deren Hilfe Softwaremodellierung an einem großen Touch-Screen erfolgen kann. Hierfür werden Teile des Umfangs der im Softwaremodellierungsumfeld verbreiteten visuellen Modellierungssprache UML83 unterstützt.

Abbildung 55: Modellierungstool an der Ruhr-Universität Bochum84

Die Anwendung ist bislang nicht Multi-Touch fähig, jedoch ist die Erweiterung der Anwendung um Multi-Touch Fähigkeit en geplant. Zukünftig soll die Anwendung die kollaborative Arbeit mehrerer Benutzer wie beispielsweise die von kleinen Entwicklungsteams unterstützen und so dazu beitragen, Teamarbeit im Bereich der Softwaremodellierung produktiver zu machen.85 Die Modellierungssoftware wird bislang nicht kommerziell vertrieben.

4.2.7.2 Visualisierung von geografischen Informationen

Eine häufig realisierte, und häufig als Demonstrationssoftware zu Multi-Touch-Hardware mitgelieferte Anwendung, ist die Globusnavigation. Bei dieser Anwendung

82 Quelle: http://www.youtube.com/watch?v=FlZxuqjJDgk 83 Siehe auch http://www.uml.org 84 Quelle: [CT 08a] 85 Siehe auch [CT 08a]


werden, etwa beruhend auf dem Datenbestand von Google Earth86 Landkarten oder auch dreidimensionale geografische Darstellungen der Erde bereitgestellt. Die Navigation im Kartenmaterial erfolgt hierbei durch Multi-Touch-Steuerungsgesten, um beispielsweise den dargestellten Kartenausschnitt zu drehen oder zu vergrößern.

Abbildung 56: Google Earth – Anwendung auf einer Perceptive Pixel Wall87

4.2.7.3 Informationsvisualisierung in Beratungssituationen

Ein Bespiel aus dem Bereich Beratung ist das Projekt 180.88 Hierbei handelt es sich um ein Studentenprojekt, dass an der Hochschule für Gestaltung und Kunst Zürich durchgeführt wurde. Die Anwendung soll in Beratungssituationen im Bankenumfeld dem Berater ermöglichen, den gegenübersitzenden Kunden multimedial unterstützt und interaktiv zu beraten und zu informieren. Ein wesentliches Ziel des Projekts war es, anhand des gegebenen Anwendungsszenarios die Möglichkeiten zur simultanen Interaktion mit der Anwendung zu evaluieren. Das Projekt kann als Mischung aus Prototyp und Designstudie gesehen werden.

86 Siehe auch http://earth.google.de 87 Quelle: http://link.brightcove.com/services/link/bcpid713271701/bclid713073346/bctid709364416 88 Siehe auch http://www.timroth.de/180/index.html


Abbildung 57: 180 – Designstudie einer Consulting-Anwendung für Banken89

4.2.7.4 Interaktive multimediale Moderationsunterstützung bei CNN

Abbildung 58: Wand zur Moderationsunterstützung und Informationsvisualisierung90

Zur multimedialen Unterstützung der Moderation setzt der US-amerikanische Fernsehsender CNN einen großen Multi-Touch-Screen von Perceptive Pixel ein (siehe Kapitel 3.1.14). Auf dem Screen kann der Moderator durch die dargestellten Inhalte navigieren und beispielsweise die momentan relevanten Inhalte wie Karten, Grafiken und Bilder auswählen und gezielt vergrößern.

89 Quelle: http://www.timroth.de/180/page0/page0.html 90 Quelle: http://images.businessweek.com/ss/08/07/0701_surface_computing/4.htm


4.2.7.5 Visualisierung von vernetzen Informationen

An der Universität Augsburg wurde zusammen mit der TU München ein Tool entwickelt, dass die Visualisierung von vernetzten Daten sowie die Navigation im Informationsbestand an einem Multi-Touch-Tisch realisiert. Die Informationen werden hierbei in Form von grafischen Repräsentationen dargestellt. Die Kanten des Informationsnetzes werden durch Linien dargestellt.

Abbildung 59: MindMap-ähnliche Anwendung der TU München und der Universität Augsburg91

Existierende Probleme im Zusammenhang mit der Visualisierung vernetzter Daten, wie beispielsweise die möglichst überschneidungsfreie Anordnung der Knotenelemente durch Layout-Algorithmen, werden von der Anwendung nur am Rande adressiert.

Das Tool ist das Ergebnis studentischer Aktivitäten an den beteiligten Universitäten und wird bislang nicht kommerziell vertrieben.


Das Angebot an Multi-Touch fähigen Softwareprodukten ist momentan vom Umfang her noch sehr eingeschränkt. Existierende Software in diesem Bereich stammt häufig aus dem Forschungsumfeld oder wurde im Rahmen von Studentenprojekten oder Diplomarbeiten erstellt. Ein großer Teil dieser Software wird nicht kommerziell vertrieben. Das Angebot kommerzieller Multi-Touch fähiger Software ist abgesehen von Anwendungen für das iPhone sehr gering. Ein Grund für das wenig umfangreiche Angebot kommerzieller Multi-Touch-Software sind unter anderem die bislang fehlenden Standards im Bereich der Schnittstellen und der Hardwareunterstützung. Es bleibt abzuwarten, welche Auswirkungen das Erscheinen der neuen Windows-Version und ihrer angekündigten Multi-Touch Fähigkeit hat (vgl. Kapitel 4.1.2), und in wie weit bereits existierende Multi-Touch Protokolle wie zum Beispiel TUIO als Eingabequelle integrierbar sind. Die kommerzielle Entwicklung und Verbreitung von Multi-Touch-

91 Quelle: http://channel8.msdn.com/Posts/Its-not-a-surface-its-a-new-kind-of-a-multi-touch-table


Software im PC-Umfeld erscheint auch im Zusammenhang mit der geringen Verbreitung entsprechender Hardware momentan noch als wenig attraktiv.

Zudem wird kommerziell angebotene Multi-Touch-Software momentan häufig zusammen mit der entsprechenden Hardware als geschlossenes Komplettsystem angeboten, oder die Hardware wird in Kombination mit einem Entwicklungsprojekt als kundenspezifisches, geschlossenes Gesamtsystem vertrieben. Hierdurch wird die weitere Nutzung der Hardware durch andere Softwareanwendungen sowie die Eigenentwicklung von Multi-Touch-Software erschwert.

Insgesamt verfügt die bestehende Software im Multi-Touch-Umfeld über einen geringen Reifegrad, verglichen mit konventionellen, kommerziellen Anwendungen in PC-Umfeld. Zurückzuführen ist dies unter anderem neben der noch sehr gering ausgeprägten Verfügbarkeit von Tools zur effizienten Entwicklung solcher Software auf die kaum verbreitete Erfahrung bezüglich der Entwicklung von Multi-Touch-Anwendungen.


5 Markt- und Anwendungspotenziale

Im Folgenden werden weitere Analysen im Bezug auf Markt- und Anwendungspotenziale durchgeführt. Die Analysen beruhen einerseits auf den in den vorherigen Kapiteln beschriebenen Recherchen bezüglich Technologien, Produkten und bestehenden Anwendungen. Darüber hinaus werden auch weitere denkbare Anwendungsbereiche miteinbezogen um weiterreichende Schlussfolgerungen zu erlauben.

Um die Anwendungsfelder und damit das Marktpotenzial der Technologie sicher identifizieren zu können, ist ein zielgerichtetes Vorgehen mit Methoden des Technologiemanagements notwendig.

Die Identifikation des Marktpotenzials soll der fundierten Verifikation von Anwendungen mit hohem Potenzial zur Umsetzung dienen und Marktchancen aufzeigen. Konkrete Produktideen werden auf ihre Umsetzbarkeit und ihren möglichen Erfolg am Markt hin untersucht.

Die Vorgehensweise zur Ermittlung des Marktpotenzials lehnt sich dabei stark an die der Technologiepotenzialanalyse an.92 Der Einsatz der Methodik zur Technologiepotenzialanalyse eignet sich besonders gut, da die Einsatzfelder der Technologie für Multi-Touch-Anwendungen noch nicht klar abzusehen sind und eine Vielzahl an attraktiven potenziellen Applikationen identifiziert werden kann.

Eine wesentliche Abweichung zur Technologiepotenzialanalyse stellt die Handhabung der Konkurrenztechnologie dar. Anstelle der Ermittlung und dem Vergleich konkurrierender Technologien und Mitbewerber, fließen bereits bestehende Anwendungen abstrahiert als Beispiele in die Applikationsanalyse mit ein. Bei emergenten Technologien – wie der Multi-Touch Technologie – ist es zudem wenig Ziel führend, nach Technologien zu suchen, die das gleiche Funktionsprinzip auf eine andere Art erfüllen.

5.1 Vorgehen

Um das Potenzial einzelner Applikationen bestimmen zu können, ist zuerst eine grundlegende Analyse des Marktes nötig. Etablierte Anwendungen lassen Rückschlüsse auf die verwendeten Technologien zu und spiegeln den Stand der Technik auf Niveau der Marktreife wieder. Technologien bilden oft die Basis neuer umsetzbarer Ideen. Hierbei muss jedoch immer ein Blick in die Zukunft geworfen werden, um nicht bereits im Anfangsstadium der Entwicklung, Einschränkungen durch entstehende Konkurrenztechnologien zu unterliegen.

92 Vgl. [Bullinger 08]


Durch die Identifizierung von Technologien in der Technologiephase lassen sich dann Produktideen in der Applikationsphase generieren. Die Technologiepotenzialermittlung gibt später unter zu Hilfenahme dritter Meinungen ein detailliertes Bild für die Chancen einzelner Anwendungen.

5.2 Technologieanalyse

Zur Ermittlung ganz grundlegender Funktionen wurde im ersten Schritt ein Workshop mit dem gesamten Entwicklungsteam durchgeführt. Die Teammitglieder kommen dabei aus den unterschiedlichsten Fachrichtungen (z.B. Softwaremanagement und -technik, Design, Naturwissenschaften). Damit wird das Projekt aus extrem unterschiedlichen Perspektiven betrachtet und Übereinkünfte so wie Bedenken konnten diskutiert werden.

Als Informationsquelle diente, neben der Literatur, vor allem das Internet um an möglichst aktuelle Informationen zu kommen. Neue Technologien und Produktanbieter sind hier noch lange vor dem Bericht in Printmedien zu finden. Im Internet veröffentlichte Videos verschaffen zudem einen lebendigeren Eindruck mancher Produkte als ausführliche Artikelbeschreibungen es tun. Ein Erfahren von Multi-Touch Produkten ist am Besten Live möglich. Um sich über die Marktreife vorhandener Konzepte und unterschiedlicher Anbieter ein Bild zu machen, wurden Anschauungsobjekte von Prototypen in der Fraunhofer-Gesellschaft begutachtet und bei einem Messebesuch der IFA in Berlin auch die kommerzieller Hersteller.

Aus der Technologieanalyse wurde ersichtlich, dass vorhandene Konzepte Schwächen aufwiesen, die meist technologischer Art sind und sich im Umkehrschluss ein hoher Bedarf an Technologieentwicklung in diesem Bereich ableiten lässt.

5.3 Applikationsanalyse

Die Vorgehensweise zur Applikationsanalyse-Phase teilt sich in 6 Teilschritte auf:

1. Sammlung aktueller Applikationen 2. Identifikation potenzieller Applikationen mit Institutions-internen Mitarbeitern 3. Identifikation potenzieller Applikationen durch Institutions-externe Branchen

Experten 4. Zusammenfassung aller Applikationsideen 5. Vervollständigung und Quantifizierung der Anforderungen bzw. Attribute 6. Ermittlung von Marktkennzahlen für die Applikationen Basierend auf der am Fraunhofer IAO entwickelten Kreativitätsmethode »Branch force-fitting« wurden potenzielle heutige und zukünftige Applikationen identifiziert. Das Ergebnis dieser kreativen Phase waren 160 verschiedene Applikationen. Diese wurden in der folgenden Applikationstabelle zusammengefasst, und nach 8 Technologie- und 2 Marktkriterien individuell beurteilt.


Abbildung 60: Auszug aus der Applikationstabelle

Im nächsten Schritt wurden die Applikationen zu Clustern zusammengefasst und die interessantesten Applikationscluster identifiziert. Diese wurden dann im Nachgang detaillierter betrachtet und nach Technologie- und Marktkriterien diskutiert und bewertet.


Abbildung 61: MindMap der Bewertungskriterien

5.4 Marktanalyse

Bei der Marktanalyse stehen zwei Fragestellungen im Vordergrund: die Frage nach interessanten heutigen und zukünftigen Applikationen für die Technologie und die Frage nach den technologischen Anforderungen, die sich aus den potenziellen Märkten ableiten. Beides lassen sich durch statistische Auswertung aus der Tabelle der Applikationsanalyse herbeiführen.

Mit Hilfe eines Dendrograms lässt sich die Anzahl der möglichen Cluster bestimmen. Die Bestimmung erfolgt dabei immer subjektiv. In diesem Fall lassen sich 10 sinnvolle Cluster finden.

Abbildung 62: Dendrogram mit bereinigten Applikationsclustern


An dieser Stelle bietet sich die Möglichkeit des »KMeans-Clustering«. Nach dem Bottom-Up Prinzip kann dann ermittelt werden, welche Applikationsideen bei welchen technischen Gegebenheiten in Frage kommen, oder aber was für Anforderungen eine Applikation an die jeweilige Technik stellt.

Beispielsweise sucht ein Technologieanbieter Anwendungsmöglichkeiten für seine Spezifikationen. Er bietet hochpräzise Touch-Screens, die allerdings nur statisch verwendet werden können. Werden im KMean-Clustering diese Angaben als Achsen verwendet, ergibt sich ein Bild, an dem sich die Anwendungen entlang dieser Achsen anordnen. Ein interessantes Ergebnis wäre hier das »Superpult Radio« einem Mischpult für Radiosender. Für die Ansteuerung der virtuellen Schiebe- und Drehregler bedarf es einer sehr hohen Präzision, und da sich das Mischpult meist in einem Tonstudio befindet, ist keine mobile Auslegung der Technik nötig. Also genau das, was der Technologieanbieter sucht.

Abbildung 63: Hochachse = Mobilität, nach oben hin abnehmend, Längsachse = erforderliche Präzision, nach rechts zunehmend

Die Farben der einzelnen Punkte geben Auskunft über die Clusterzugehörigkeit und identifizieren damit auch artverwandte Produktvorschläge. Anstelle der Clusterzugehörigkeit kann mit der Farbe auch ein weiteres Kriterium identifiziert werden. Beispielsweise stellt der gleiche Technologieanbieter fest, dass er sich auf kleine Bildschirmdiagonalen festgelegt hat. Das Bild verändert sich, und unter diesen Kriterien kann dann die Applikation »Interaktives Verkaufsangebot« identifiziert werden.


Abbildung 64: Hochachse = Mobilität, nach oben hin abnehmend, Längsachse = erforderliche Präzision, nach rechts zunehmend 93

Anhand der Applikationstabelle kann unter Berücksichtigung marktrelevanter Kriterien auch ein 3D-Bild erzeugt werden. Dazu werden drei Hauptaussagen über die Applikationen identifiziert. In diesem Beispiel sollen besonders die Anwendungen hervorgehoben werden, welche ein hohes Marktpotenzial haben. Ein weiteres Kriterium soll über die Kosten zur Herstellung des Produkts Aufschluss geben, und ein drittes Kriterium wurde mit Hilfe des Programms selbst identifiziert, indem nach der Hauptkomponente der Clusteranalyse geforscht wurde. Dadurch konnte analysiert werden, dass die Mobilität der Applikationen einen wesentlichen Unterscheidungsfaktor darstellt, weshalb dieser auch als drittes Kriterium geführt wird. Die zuvor festgelegte Anzahl an Clustern wird farblich unterschieden. Um die unterschiedlichen Kriterien gleichwertig in der Zusammenfassung zu gewichten, wurden die Werte in der Tabelle auf den Bereich 0-6 abgeglichen und anschließend der Durchschnittswert errechnet. Die Zugehörigkeit der Applikationen zu bestimmten Clustern wurde bereits im KMean-Clustering bestimmt und kann einfach in die Applikationstabelle übertragen werden.

Anwendungen, die zuvor aussortiert wurden um sinnvolle Clustergrößen zu bilden, werden jetzt wieder mit in die Darstellung aufgenommen. Damit ist gewährleistet, dass auch exotische Anforderungsprofile einer Marktpotenzialanalyse unterworfen werden und möglicherweise gerade deshalb hohes Potenzial in sich tragen.

In Abbildung 65 ist ein Koordinatensystem mit den Achsen x = Kosten zur Herstellung des Produkts, y = Mobilität der Anwendung und z = Marktpotenzial dargestellt. Die Farben der Punkte geben Auskunft über die Clusterzugehörigkeit der einzelnen Applikationen.

93 Farbe = Bildschirmdiagonale (Farbskala blau bis rot = klein bis groß)


Abbildung 65: Visualisierung der Applikationen

Die Grafik macht die Beziehungen der Cluster leicht erkennbar und unterstützt die Entscheidung für oder gegen bestimmte Applikationen erheblich. Beispielsweise trennen sich die sehr mobilen Applikationen (links in Abbildung 65) deutlich von den stationären Anwendungen (rechts in Abbildung 65). Anwendungen, die sich im oberen Teil der Grafik befinden, haben hohes Marktpotenzial, die am unteren Bildrand erreichen nur ein kleines potenzielles Kundenspektrum.

Wie eingangs erläutert, müssten sich im Bereich hohen Marktpotenzials Anwendungen wie die des abstrahierten »iPhone« finden, die exemplarisch eingebaut wurden, um die Qualität der Analyse zu bestätigen. Zur besseren Übersicht wird das Bild auf zwei Achsen reduziert und die farbliche Darstellung für das Marktpotenzial genutzt. Dabei steht die Farbe blau für geringes und die Farbe rot für sehr hohes Marktpotenzial.


Abbildung 66: Beispiel »iPhone«

Tatsächlich wurde im Bereich hohen Marktpotenzials die Applikation »Handy« identifiziert. Es ist zudem zu erkennen, dass es sich dabei um eine Anwendung preislich niedrigen bis mittleren Niveaus handelt. In Sachen Mobilität ist das Beispiel unter den Top-mobilen Anwendungen zu finden (0 steht für maximale Mobilität).

Folgend sind noch zwei Beispiele für eine Applikation hohen und niedrigen Potenzials gegeben.


Abbildung 67: Beispiel für hohes Marktpotenzial

Bei diesem Positivbeispiel des Marktpotenzials handelt es sich um eine Applikation ähnlich des »Surface« von Microsoft.

Abbildung 68: Beispiel für geringes Marktpotenzial


In diesem Beispiel geht es um Touch-Steuereinrichtungen für Missionen im Weltraum. Deren wirtschaftliches Potenzial ist deutlich als sehr gering einzustufen, und auch die Herstellung birgt einen großen finanziellen Aufwand.

5.5 Bewertung

Die ausführlichen Recherchen zur Technologie und Marktsituation zeigen einen hohen Bedarf an Lösungen, der durch die vorhandenen Produkte nicht gedeckt werden kann. Es mangelt an praxisnahen Produkten und Anwendungen im Soft- und Hardwarebereich.

Weiterhin liefert die Analyse wichtige Daten um das Potenzial der Technologie und der damit verbundenen Software aufzuzeigen. Die in der Applikationsanalyse identifizierten Anwendungsbeispiele setzten immer das Vorhandensein der Software auf dem jeweiligen System voraus. Das System, also die verwendete Technologie mit ihren spezifischen Eigenschaften, ist nur Träger des eigentlichen Anwendungsbeispiels und an die jeweiligen Umgebungsbedingungen angepasst.

Beispiele für unternehmenskritische, interne oder auch repräsentative Anwendungen sind in der Applikationsanalyse unter den Begriffen »Chefsache« und »Unternehmensworkshop« geführt. Es liegt also nahe, deren Marktpotenzial anhand der beschriebenen Methode zu untersuchen. Rein auf das Marktpotenzial bezogen, ergibt sich unter entsprechender Einstellung der Achsen folgendes Bild.

Abbildung 69: Marktpotenzial der Applikationen und damit verbundener Software


Wie in vorangegangenen Beispielen steht auch hier ein hoher Zahlenwert für hohes Marktpotenzial. Klar zu erkennen ist, dass sich die Applikation »Chefsache« und »Unternehmensworkshop« (beide rechts oben in Abbildung 69) im Bereich hohen Marktpotenzials bewegen. Zum Vergleich wird hier nochmals die »Steuereinrichtung Space« (links unten in Abbildung 69) als marktwirtschaftliches Negativbeispiel geführt. Interessant ist an dieser Stelle auch die Auslegung des Systems, also des »Softwareträgers« hinsichtlich seiner Bauart und vielleicht eine erste Schätzung zu den Kosten. Angenommen werden Endkundenpreise, Margen etc. sind nicht berücksichtigt.

Abbildung 70: Mobilität und angenommener Preis der Applikationen und der damit verbundenen Software

Gut ersichtlich ist, dass sich die Applikationen (beide oben) bezüglich der prinzipiellen Auslegung (statische Bauweise) sehr ähnlich sind und sich im wesentlichsten nur im Preis unterscheiden. Dieser aber ist in beiden Fällen auf mittlerem Niveau angesiedelt. Als Gegenbeispiel wird wieder die Anwendung »Steuereinrichtung Space« (unten in Abbildung 70) geführt.

Zusammenfassend lassen sich die marktwirtschaftlich interessanten Anwendungen in einer kleinen Übersicht darstellen. Gehen wir davon aus, dass sich die Applikationen in sechs (folgend der farblichen Unterscheidung) Cluster hinsichtlich des Marktpotenzials unterscheiden lassen, befinden sich unsere Anwendungen »Chefsache« und


»Unternehmensworkshop« in den zwei interessantesten Clustern, oder in Zahlen ausgedrückt unter den Top 26 aus 160.

Platzierung Applikation Anwendungsbeispiel Top 7 z.B.: Handy Exemplarisch das »iPhone« von Apple

Digitaler Einkaufswagen Zukunftsvision zu der es bereits Prototypen gibt

Tagesnachrichten Zukunftsvision

Speisekarte Ähnlich dem »Surface« von Microsoft

Top 13 z.B.: Umfragesysteme Gesehen auf der IFA in Berlin und der orgatec in Köln

Chefsache Repräsentative oder unternehmenswichtige Applikation

Digitale »Brettspiele« Dazu existieren vor allem aus Bastlerkreisen Prototypen

Top 26 z.B.: Gerätesteuerung Zahnarzt Zukunftsvision

Unternehmensworkshop Am Fraunhofer IAO in Entwicklung befindlicher Prototyp

Translator Zukunftsvision

Tabelle 12: Tabelle der marktwirtschaftlich interessanten Anwendungen

Abbildung 71: Marktpotenzial der »Chefsache« und des »Unternehmensworkshops«

In diesem Fall konnte also anhand der Applikationsanalyse über mögliche Szenarien, der Kombination aus umgebungsangepasster Technik und der damit verbundenen Software, das Marktpotenzial ermittelt werden. Die Höhe des Marktpotenzials macht deutlich, wie lohnend der Einsatz von Ressourcen and dieser Stelle ist.


6 Multi-Touch am Fraunhofer IAO

Multi-Touch als Technologie für Eingabegeräte reiht sich rasant in die Gruppe der häufig verwendeten Eingabegeräte in der Mensch-Computer-Interaktion ein. Diese Tatsache eröffnet einen neues Gestaltungsraum für die Konzeption von interaktiven Systemen, für Anwendungsentwickler und Usability Engineers.

Am Fraunhofer IAO wird das Thema Multi-Touch aus verschiedenen Perspektiven betrachtet, aus der Mensch-Computer Interaktion (Human-Computer Interaction), der Softwaretechnik und dem Softwaremanagement, und aus der Sicht des Markt- und Technologiepotenzials. Die Ergebnisse der Einzelbereiche liegen gesammelt in dieser Studie vor. Im Bereich Technologie- und Innovationsmanagement wurde die Technologiepotenzialanalyse durchgeführt (Kontakt: www.innovation.iao.fraunhofer.de). Im Bereich der Informations- und Kommunikationstechnik wurden mehrere Projekte durchgeführt, insbesondere der Bau von Hardware-Prototypen und die Konzeption und Entwicklung von Multi-Touch Anwendungen. Es kann auf umfangreiche Erfahrung im Umgang mit verschiedenen Multi-Touch Technologien zurückgegriffen werden, ebenso im Softwaremanagement und der Softwaretechnik, besonders in Bezug auf Architektur- und Softwaretechnikberatung, und im Bereich der Human Computer Interaction auf Ebene der Konzeption, Entwicklung und Gestaltung von Multi-User und Multi-Touch Systemen.

Abbildung 72: Eine am Fraunhofer IAO entwickelte Anwendung zur kollaborativen Bildersuche basierend auf MT4J

6.1 Human Computer Interaction

Im Bereich »Human-Computer Interaction” beschäftigt sich das Fraunhofer IAO in Bezug auf das Technologiefeld »Multi-Touch« mit der Konzeption,


Entwicklungsunterstützung und Evaluation von Multi-Touch Systemen. Dazu zählen insbesondere:

– Gestaltung und Einsatz von Multi-Touch-Technologie und -Anwendungen nach Usability- und User-Experience Gesichtspunkten

– Beratung zur Multi-Touch Technologie und Hardware: Welche Basistechnologie und Hardware eignet sich für welche Anwendungsszenarien?

– Konzeption von und Entwicklungsunterstützung bei Multi-Touch Applikationen nach Usability- und User-Experience Gesichtspunkten, mit Fokus auf Qualitätsmanagement und kollaborative Arbeitsumgebungen mittels Multi-Touch Systemen

– Kombination von Multi-Touch Technologie mit Tangible Interfaces zur Unterstützung im Hardware-Prototyping und der Simulation und Evaluation von haptischen Benutzerschnittstellen

Des Weiteren wird kontinuierlich an Studien zu den folgenden Themen gearbeitet: Grafische Multi-Touch Oberflächen (Styleguides), Interaktionsfeedback bei Multi-Touch und Gestenhilfen, Gestensets für bestimmte Applikationsgruppen und Anwendungsszenarien.

Kontakt: www.hci.iao.fraunhofer.de

6.2 Softwaretechnik

Das Fraunhofer IAO bietet Ihnen Beratung und Unterstützung in wesentlichen Bereichen der Multi-Touch-Softwaretechnik:

Architektur- und Softwaretechnikberatung: Am Fraunhofer IAO hat in einer Vielzahl von erfolgreich durchgeführten Projekten für Auftraggeber aus der Wirtschaft und der öffentlichen Verwaltung ein umfangreiches Know-How bei der Konzeption und Umsetzung von innovativen Softwarearchitekturen aufgebaut. Im Bereich der Multi-Touch-Softwaretechnik liegt ein besonderer Fokus auf der Integration in betriebliche Abläufe und bestehende Systemlandschaften. Das Fraunhofer IAO bietet verschiedene Dienstleistungen für die Entwicklung und dem Einsatz von Multi-Touch Anwendungen:

– Konzeption von innovativen Softwarearchitekturen für individuelle Multi-Touch Lösungen

– Integration von Multi-Touch-Lösungen in die Systemlandschaft – Umsetzungsbegleitung und Qualitätsmanagement – Entwicklung und Gestaltung von Multi-Touch-Anwendungen sowie Realisierung

von Prototypen und Demonstratoren Kontakt: www.swm.iao.fraunhofer.de


6.3 Multi-Touch Entwicklungsplattform MT4j

Die am IAO entwickelte Multi-Touch Entwicklungsplattform »Multi Touch for Java« kurz MT4j basiert auf Open Source Komponenten und ist als Open Source verfügbar. MT4j vereinfacht und unterstützt die Entwicklung von Multi-Touch-Applikationen, und ist durch die Verwendung von Java auf diversen Betriebssystemen lauffähig. Durch Nutzung der Hardwarebeschleunigung moderner Grafikkarten kann eine eindrucksvolle Grafikleistung, sowohl für zwei- als auch für dreidimensionale Computergrafik erreicht werden. Durch die Verwendung von Java ist MT4j einer breiten Entwicklergemeinde zugänglich. In Multi-Touch-Anwendungen häufig benötigte Funktionalitäten, wie die Auswertung von Multi-Touch Steuerungsgesten, sind bereits Bestandteil der Plattform, ebenso wie eine Vielzahl bereits vorhandener Oberflächen-Komponenten, aus denen Multi-Touch Benutzungsschnittstellen zusammengesetzt werden können. MT4j verfügt über einen modularen Aufbau und ist erweiterbar. Es werden gängige Formate und Standards wie etwa SVG, OBJ, 3DS, zahlreiche Grafikformate und das TUIO-Protokoll unterstützt.

Aufgrund des modularen und erweiterbaren Aufbaus der MT4j-Plattform ist diese an spezielle Bedürfnisse und Anforderungen anpassbar. Das Fraunhofer IAO bietet die Erweiterung und Anpassung der MT4j-Plattform nach kundenspezifischen Bedürfnissen an.

Die Plattform steht unter http://www.MT4j.org zum kostenlosen Download bereit.


7 Zusammenfassung

7.1 Multi-Touch Technologie

Es existiert mittlerweile eine Vielzahl an Technologien, die eine Realisierung von Multi-Touch Funktionalität ermöglichen. Die Technologien können im Wesentlichen in zwei Kategorien unterteilt werden:

Multi-Touch Technologien, welche Berührungspunkte visuell durch die Oberfläche erkennen: Diese Technologien basieren auf optischen Tracking-Verfahren und bieten technisch die Möglichkeit, eine beliebige Anzahl von bewegten Berührungspunkten gleichzeitig zu erkennen. Einschränkungen ergeben sich durch die Notwendigkeit, einzelne Berührungspunkte in kontinuierliche Bewegungen umzurechnen. Bei bestimmten Bewegungskonstellationen ist jedoch keine eindeutige Bewegungszuordnung möglich, dies erfordert heuristische Lösungsansätze. Bei optischen Verfahren entsteht zudem ein nicht unerheblicher Rechenaufwand für die Bildauswertung. Abhängig von der Brennweite der Kamera- und Projektionskomponenten existiert ein Mindestabstand zwischen Touch-Fläche und Kamera, bzw. Beamer. Dies führt dazu, dass sehr flache Ausführungen, beispielsweise »Overlays« für Flachbildschirmen, technisch nicht realisierbar sind.

Multi-Touch-Technologien mit seitlich zur Oberfläche angebrachter Sensorik, oder in der Fläche integrierte Sensorik: Diese Technologien ermöglichen die Realisierung sehr flacher Multi-Touch Systeme. Da die Sensorik jedoch die Oberfläche meist getrennt in X- und Y-Richtung »flach abtastet«, treten bei mehreren Berührungspunkten Überdeckungseffekte (»Ghosting«) auf. Dies hat zur Folge, dass mit vielen dieser Systeme maximal zwei Berührungspunkte gleichzeitig sauber erkannt werden können. Überdeckungseffekte können teilweise durch Korrekturmechanismen ausgeglichen werden, jedoch wird dies durch jeden weiteren Berührungspunkt fehlerträchtiger. Aufgrund diese Einschränkung sind die Technologien besonders für kollaborative Nutzungsszenarien wenig geeignet. Zudem treten teils sensorische Probleme in den Ecken dieser Screens auf.

Anknüpfend an diese zwei Technologie-Kategorien kann mittlerweile eine dritte gebildet werden: Druckempfindliche Technologien. Diese vom Aufbau dem kapazitiven Verfahren ähnliche Technologien, detektieren neben der Position von Berührungspunkten auch deren Druck auf die Oberfläche. Erste Demos sehen vielversprechend aus, die Technologie befindet sich jedoch noch im Stadium eines Prototypen. An deren Weiterentwicklung, ursprünglich von der New York University, sind mittlerweile Touchco94 und Microsoft beteiligt.

94 http://www.touchco.com/tech.html


7.2 Multi-Touch Hardware

Bezüglich der funktionalen Anforderungen aus unterschiedlichen Anwendungsszenarien existiert momentan noch kein marktreifes Produkt, dass in allen Bereichen überzeugt. Anhand bestimmter Anforderungen eines Szenarios kann jedoch die am Besten geeignete Technologie aus den zwei Technologie-Kategorien identifiziert werden, und damit eine geeignete Hardware-Lösung. Die Leistungsfähigkeit der einzelnen Produkte lässt sich meist direkt auf die verwendete Basistechnologie zurückführen. Folglich besitzen Produkte mit gleicher Technologie sehr ähnliche Merkmale bezüglich der Funktionalität, des Bauvolumens, der Konstruktion und auch des Kostenrahmens. Die Integrationsfähigkeit eines Systems und die Kopplung an andere Systeme ist maßgeblich davon abhängig, ob die Hardware als »offenes« oder »geschlossenes« System verfügbar ist. Offene Systeme sind deutlich besser integrier- und koppelbar, da die Einzelkomponenten des Systems nicht zwingend in Kombination miteinander verwendet werden müssen. Geschlossene Systeme stellen dagegen einfache »Plug&Play« Lösungen dar, die meist ohne aufwändige Konfiguration und Integration auskommen.

Latenz bei Aktionen und Verzögerung des Feedbacks während der Bedienung von verschiedenen Multi-Touch-Systemen lässt darauf schließen, dass viele Hardware-Lösungen noch nicht ausgereift sind. Dies zeigt sich ebenfalls in der Empfindlichkeit und Störanfälligkeit gegenüber Umwelteinflüssen, wie beispielsweise direktem Sonnenlicht.

7.3 Multi-Touch Software

Multi-Touch-Betriebssysteme: Besondere Relevanz im Bereich der Multi-Touch Software kommt der Unterstützung von Multi-Touch durch Betriebssysteme zu. Hierdurch wird ermöglicht, dass Software unabhängig von der bestehenden Hardware entwickelt werden kann und (bei verfügbaren Treibern für das Betriebssystem) auch lauffähig ist. Neben dem bereits existierenden Betriebssystem MPX Linux verspricht das neue Betriebssystem Microsoft Windows 7 die Unterstützung von Multi-Touch-Funktionalität. Aufgrund der Marktstellung von Microsoft Windows auf dem Sektor der Betriebssysteme kann zukünftig von einer größeren Verbreitung von Multi-Touch-Software ausgegangen werden kann.

Multi-Touch-Anwendungen: Das Angebot an Multi-Touch Anwendungen, abgesehen von Anwendungen für Apples iPhone, ist momentan noch sehr begrenzt. Bestehende Multi-Touch Software hat bislang, verglichen mit anderen Softwareprodukten, einen geringen Reifegrad und wird größtenteils nicht kommerziell vertrieben. Viele Anwendungen stellen lediglich Technologie-Demonstratoren dar, welche die Multi-Touch Funktionalität zeigen, jedoch keinen oder einen sehr geringen Anwendungsnutzen besitzen. Professionelle, kommerzielle Produkte werden bislang in der Regel von wenigen, großen Unternehmen vorangetrieben, wie etwa Terminalanwendungen für den Microsoft Surface. Wie in diesem Fall, sind die Softwarepakete zudem an konkrete Hardwareprodukte gekoppelt oder werden nur als Gesamtpaket (Hardware und Entwicklungsdienstleistung) vertrieben.


7.4 Potenzial, Defizit und Ausblick

Aus Sichtweise der Human Computer Interaction besitzt Multi-Touch großes Potenzial und einige Vorteile im Vergleich zu anderen Interaktionstechniken. Durch die direkte Manipulierbarkeit von Inhalten »auf der grafischen Repräsentation« können besonders natürlich zu bedienende, intuitive Benutzungsschnittstellen realisiert werden. Hierbei können analog zur Interaktion mit realen Gegenständen intuitive Steuergesten wie Drehen, Schieben und »Großziehen« von Objekten genutzt werden. Diese intuitiven Benutzungsschnittstellen bieten sich insbesondere für Anwendungsszenarien an, in denen die Benutzer nur wenig oder kein Erfahrungswissen aus dem Umgang mit den Systemen haben (z.B. Automaten, Terminals, Kiosksysteme).

Defizite in der Usability zeichnen sich häufig aufgrund des Fehlens von visuellem und haptischem Feedback ab. So ist beispielsweise die Bedienung virtueller Tastaturen möglich, jedoch fehlt die Formhaptik der Tasten und auch das haptische Feedback beim Betätigen einer Taste. Dies macht eine »blinde« Bedienung fast unmöglich. Haptische Bedienelemente sind ebenfalls wichtig, wenn beispielsweise Maschinen bedient werden sollen, ohne gleichzeitig auf die Bedienoberfläche zu blicken. Die fehlende Präzision der Finger bei der Touch-Interaktion muss ebenfalls berücksichtigt werden, im Gegensatz zum spitzen und nahezu verdeckungsfreien Mauszeiger.

Wesentliche Vorteile bieten die Multi-Touch Technologien in kollaborativen Arbeitsumgebungen in denen ein System von mehreren Benutzer gleichzeitig bedient werden soll. Hier gibt es verschiedene Szenarien: Mehrere Nutzer interagieren gleichberechtigt innerhalb einer Anwendung, oder sie werden vom System unterschieden und interagieren in verschiedenen Anwendungen, nutzen jedoch dasselbe Basissystem. Schwierigkeit treten je nach verwendeter Technologie in der Zuordnung von Berührungspunkten zu einzelnen Personen oder Händen auf. Dies stellt besondere Anforderungen an die Gestenauswertung. Zudem müssen »Turntaking-Probleme« berücksichtigt werden, beispielsweise die Frage: »Was passiert wenn zwei Personen das selbe Objekt verschieben wollen?« oder »wenn eine Person eine lokale Objektfunktion, eine andere Person gleichzeitig eine globale Funktion wie Vergrößern aller Objekte ausführt?«

Durch die direkte Interaktion mit der grafischen Oberfläche entfällt die Notwendigkeit für weitere Steuerungs- und Eingabegeräte. Andererseits erlauben es einige Multi-Touch-Technologien (aus der Technologie-Kategorie »optische Erkennung«) die Schnittstelle explizit durch eine Steuerung mit »greifbaren, echten« Gegenständen, zu erweitern, die Objekte in der digitalen Welt beeinflussen können. Die Gegenstände werden dabei auf die Oberfläche gelegt. Grundsätzlich kann jeder Gegenstand zur Interaktion benutzt werden, der entweder einen optischen Marker auf der Unterseite besitzt, oder eindeutig anhand dessen Kontur identifiziert werden kann (vgl. 4.2.3.1 Reactable). Weiterhin besteht die Möglichkeit, elektronische Geräte über Funkverbindung (z.B. RFID, WLAN, Bluetooth) mit dem Multi-Touch-System zu verbinden um diese eindeutig zu identifizieren und um Daten zu übertragen. Es bieten sich damit neue Möglichkeiten der Gestaltung von sogenannten »Tangible Interfaces«.


Die Untersuchung des Markt- und Anwendungspotenzials zeigt sowohl bestehende, als auch fiktive Anwendungen, gruppiert und bewertet diese. Die Analyse zeigt, dass Multi-Touch weitaus größeres Potenzial besitzt, als in den bislang bekannten Informations- und Unterhaltungsanwendungen abgedeckt wird. Besonders bei Anwendungen in denen mehrere Nutzer mit einem System interagieren zeichnet sich ein bedeutender Vorteil der Technologie ab. Ebenso haben sich Eigenschaften wie »Vandalensicherheit« und die Möglichkeit der Abschottung eines Multi-Touch-Systems gegen Umwelteinflüssen als wichtige Merkmale herauskristallisiert. Das Engagement namhafter Firmen wie Microsoft, ein massentaugliches System zu konzipieren, das in größerer Stückzahl produziert wird, verdeutlicht die steigende Verbreitung der Technologie und ebenfalls eine wachsende Relevanz für den Bereich der Industrieanwendungen.


8 Literaturverzeichnis

[Bader 08], Entwicklung eines virtuellen Eingabegeräts für Multitouch Screens, Bachelor Thesis Fraunhofer IAO / HdM Stuttgart, 7.8.2008.

[Bullinger 08], H.-J. Bullinger (Hrsg.): Fokus Technologie: Chancen erkennen Leistungen entwickeln, Carl Hanser Verlag, München 2008.

[Buxton 08], Multi-Touch Systems that I Have Known and Loved, http://www.billbuxton.com/multitouchOverview.html, 22.8.2008.

[CT 08a], P. König, U. Kuhlmann, Finger-fertig? Multitouch: Wunsch und Wirklichkeit, C’t Ausgabe 14/08 S.150-155, Heise Verlag, 2008.

[CT 08b], H. Schulz, P. König, Innenleben - Technische Neuerungen in Windows 7, C’t Ausgabe 4/09, S.92, Heise Verlag, 2009.

[Cubit 08], Cubit Homepage, http://nortd.com/cubit, 23.12.2008.

[Diller 98], Diller, H. (Hrsg.), Marketingplanung, 2. Aufl., Verlag Vahlen, München, 1998.

[Derene 07], Glenn Derene, Microsoft Surface: Behind-the-Scenes First Look, http://www.popularmechanics.com/technology/industry/4217348.html?page=2, 28.12.2008.

[Franke 08] Jens Franke: Fingerfertig, PAGE, Januar 2008.

[NexTech 08] NexTechNews – Microsoft, http://www.nextechnews.com/CategoryView.aspx?category=Microsoft, besucht: 11.08.2008.

[Ruff 08], Christopher Ruff, Konzeption und Realisierung einer Applikation zur Unterstützung von Moderationstechniken unter Verwendung innovativer Eingabetechnologien, Bachelor Thesis Fraunhofer IAO / HdM Stuttgart, 22.09.2008.

[Trümper 07] Trümper, Jonas: Multi-Touch-Systeme und interaktive Oberflächen, TU Berlin. 2007. – Forschungsbericht

[WiFu 08], "7" kann kommen: Günstiges 22"-Multitouch-Display, http://winfuture.de/news,39884.html, 4.7.2008.

[Wilson 08] Wilson, Tracy V. How the iPhone Works. http://electronics.howstuffworks.com/iphone.htm. 2008.


9 Abbildungsverzeichnis

Abbildung 1: Schematische Darstellung eines Diffused Illumination Aufbaus 6 Abbildung 2: Abstand der Punkte bei gleicher Bewegungsgeschwindigkeit 7 Abbildung 3: Schematische Darstellung eines auf Totalreflexion basierenden Aufbaus 9 Abbildung 4: Schematische Darstellung des Effekts der unterbrochenen Totalreflexion 10 Abbildung 5: Darstellung eines projektiv-kapazitiven Multi-Touch Screens 11 Abbildung 6: Musikinstrument Yamaha Tenori-on mit LED-Matrix-Technologie 13 Abbildung 7: Funktionsprinzip des Infrarot-Lichtvorhangs 15 Abbildung 8: Laser Light Plane Methode – Ein Finger bricht die vom Infrarot-Laser aufgespannte Lichtfläche und reflektiert Licht Richtung Kamera 16 Abbildung 9: Einbau eines Infra Red Light Plane Rahmens in ein Standard LCD Display 18 Abbildung 10: Infrarot-Emitter und -Sensor 18 Abbildung 11: Das Mobiltelefon »iPhone« mit Multi-Touch-empfindlichem Display 22 Abbildung 12: Das Display ist mit Folienschichten überzogen, die kapazitiv Berührungspunkte erkennen 22 Abbildung 13: Die Steuerung mit Single- und Multi-Touch-Gesten 22 Abbildung 14: Dell Latitude XT mit schwenkbarem Display 23 Abbildung 15: Dell Latitude XT als »Tablet PC« 23 Abbildung 16: Microsoft Surface PC 24 Abbildung 17: Funktionsprinzip Microsoft Surface PC 24 Abbildung 18: Der Intuiface Multi-Touch Tisch mit einer Beispiel-Applikation 25 Abbildung 19: Evoluce Multi-Touch 26 Abbildung 20: Bauvolumen eines Multi-Touch Terminals 26 Abbildung 21: Version des Eyebeam CUBIT Multi-Touch-Tischs 27 Abbildung 22: Horizon Multi-Touch-Terminal von Natural User Interfaces 28 Abbildung 23: Multi-Touch Tisch von GestureTek 28 Abbildung 24: horizontale Wandinstallation von GestureTek 29 Abbildung 25: Ein auf ein beliebiges Display montierbarer Rahmen von Nexio 30 Abbildung 26: Die verwendete Technologie »IR-Lichtvorhang« ermöglicht eine flache Bauweise der Nexio Touch-Rahmen 30 Abbildung 27: Nexio Touch Screen »NEX Serie Industrie«, erhältlich in 10.4-19 Zoll 30 Abbildung 28: Nexio Touch Screen »NOP Serie Industrie«, erhältlich in 15-19 Zoll 30 Abbildung 29: Einbau eines flachen NextWindow Touch Rahmens in ein Standard LCD Display 31 Abbildung 30: Infrarot-Emitter und -Sensor in den NextWindow Touch Displays und Rahmen 31 Abbildung 31: Next Window Touch Frame 32 Abbildung 32: Installation eines NextWindow Multi-Touch Frames vor einem Monitor 32 Abbildung 33: Touch-empfindliche Folie 32 Abbildung 34: Montage der Folie auf Rückseite einer Glasscheibe 32 Abbildung 35: Anwendung an einer 100 Zoll Scheibe im Format 16:9 33 Abbildung 36: Albatron Multi-Touch Display 33


Abbildung 37: LG-Phillips LCD Multi-Touch-Display auf des CES 2008 34 Abbildung 38: Multi-Touch Wall von Jeff Hahn 35 Abbildung 39: Zwei MultiTouch »Cells« modular miteinander verbunden 36 Abbildung 40: Multi-User Szenario mit Cell-Modulen 36 Abbildung 41: Kombinationsbeispiel von einzelnen Cell-Modulen 36 Abbildung 42: Stantum SMK 15,4 37 Abbildung 43: Globusnavigation auf MPX-Linux 44 Abbildung 44: Multi-Touch Demonstratoren von Jeff Han 45 Abbildung 45: Firefly, ein erstes Computerspiel für den Microsoft Surface PC 46 Abbildung 46: Optisch lokalisierbare Tags (Fiducials) des Reactivision Tables 46 Abbildung 47: Der Reactable – ein Interaktives Musikinstrument 47 Abbildung 48: Virtuelles Multi-Touch-Keyboard für das iPhone 47 Abbildung 49: Die Anwendung MultiKey 48 Abbildung 50: Shared Design Space 49 Abbildung 51: Multi-Touch-Bildbearbeitungstool Photoshop MT 49 Abbildung 52:Multi-Touch Engineering-Anwendung des Fraunhofer IGD 50 Abbildung 53: Microsoft Surface – Anwendung zur Produktauswahl im Gastronomieumfeld 51 Abbildung 54: Microsoft Surface – Anwendung zur Auswahl von Mobiltelefon und Vertragskonfiguration 51 Abbildung 55: Modellierungstool an der Ruhr-Universität Bochum 52 Abbildung 56: Google Earth – Anwendung auf einer Perceptive Pixel Wall 53 Abbildung 57: 180 – Designstudie einer Consulting-Anwendung für Banken 54 Abbildung 58: Wand zur Moderationsunterstützung und Informationsvisualisierung 54 Abbildung 59: MindMap-ähnliche Anwendung der TU München und der Universität Augsburg 55 Abbildung 60: Auszug aus der Applikationstabelle 59 Abbildung 61: MindMap der Bewertungskriterien 60 Abbildung 62: Dendrogram mit bereinigten Applikationsclustern 60 Abbildung 63: Hochachse = Mobilität, nach oben hin abnehmend, Längsachse = erforderliche Präzision, nach rechts zunehmend 61 Abbildung 64: Hochachse = Mobilität, nach oben hin abnehmend, Längsachse = erforderliche Präzision, nach rechts zunehmend 62 Abbildung 65: Visualisierung der Applikationen 63 Abbildung 66: Beispiel »iPhone« 64 Abbildung 67: Beispiel für hohes Marktpotenzial 65 Abbildung 68: Beispiel für geringes Marktpotenzial 65 Abbildung 69: Marktpotenzial der Applikationen und damit verbundener Software 66 Abbildung 70: Mobilität und angenommener Preis der Applikationen und der damit verbundenen Software 67 Abbildung 71: Marktpotenzial der »Chefsache« und des »Unternehmensworkshops« 68 Abbildung 72: Eine am Fraunhofer IAO entwickelte Anwendung zur kollaborativen Bildersuche basierend auf MT4J 69


10 Tabellenverzeichnis

Tabelle 1: Bewertungskriterien für Multi-Touch Systeme 5 Tabelle 2: Eigenschaften des Verfahrens Diffused Illumination 8 Tabelle 3: Eigenschaften des Verfahrens Frustrated Total Internal Reflection 11 Tabelle 4: Eigenschaften des projektiv-kapazitiv en Verfahrens 12 Tabelle 5: Eigenschaften des Verfahrens LED Matrix 14 Tabelle 6: Eigenschaften des Verfahrens Infrarot-Lichtvorhang 16 Tabelle 7: Eigenschaften des Verfahrens Laser Light Plane 17 Tabelle 8: Eigenschaften des Verfahrens Infra Red Light Plane 18 Tabelle 9: Bewertungskriterien der Hardware-Komponenten 38 Tabelle 10: Übersichtstabelle der Hardware-Komponenten, erster Teil 39 Tabelle 11: Übersichtstabelle der Hardware-Komponenten, zweiter Teil 40 Tabelle 12: Tabelle der marktwirtschaftlich interessanten Anwendungen 68

-

© Fraunhofer IAO

Der Begriff „Multi-Touch“ wird für berührungssensitive Eingabe-geräte verwendet, die bei einer Mensch-Computer-Interaktion mehrere Berührungspunkte, also „multiple touches“, gleichzeitig erfassen und verarbeiten können. „Multi-Touch“ fasziniert gleichermaßen Anwender und Entwickler durch neuartige Interaktionsformen, innovative Anwendungsszenarien und eine markante User-Experience.

Die Konzeption dieser Multi-Touch Systeme erfordert jedoch ein solides Wissen über deren Basistechnologien und stellt für Entwickler einige Stolperfallen.

Das Fraunhofer IAO vermittelt in dieser Studie umfangreiches Basiswissen und mögliche Einsatzgebiete der Technologie „Multi-Touch“. Die Studie umfasst Informationen über die aktuell verfügbaren Technologien und deren zugrunde liegende Hardware, beschreibt Multi-Touch-Softwarelösungen und zeigt in einer Marktanalyse mögliche Anwendungsszenarien auf.

Studie: Multi-Touch - Technologie, Hard-/Software und...

Documents

Transcript of Studie: Multi-Touch - Technologie, Hard-/Software und...