LERNET Workshop 18.-19.09.03

Innovative CBT-Architektur im Internet für den EIB

- Ergebnisse der Evaluation -

OFFISOldenburger Forschungs- und

Entwicklungsinstitut für Informatik-Werkzeuge und –Systeme e. V.

Prof. Dr. Claus MöbusJ. Feindt, C. Janßen, S. Sölbrandt, H.-J. Thole,

Jens Krefeldt, Holger de Vries

2Ergebnisse der Evaluation

Inhalt

Übersicht I-can-EIB

Evaluationsobjekt: I-can-EIB Avatar

Evaluationsdesign: Pre-Post-Test

Statistische Auswertung

Ergebnisse und Konsequenzen

3Ergebnisse der Evaluation

Übersicht I-can-EIB

Avatar3D-Chat

TreeTaggerTopicMap

FAQ-Liste

Frage-Baukasten

(+Hilfe-System)

Natürlichsprachliche Eingabe

(+Sprachausgabe)

4Ergebnisse der Evaluation

Avatar

Avatar-Animation mit Sprachausgabe

5Ergebnisse der Evaluation

Avatar

Interface

• Java API• Javascript API

Animations- Editor

• Gestik, Mimik• Emotion

Visual3D- Editor

• Export/Import standardisierter 3D-Repräsentationsformate• Modifizierung des Aussehens

Speech

• WebSpeech API (Logox)

6Ergebnisse der Evaluation

Attribute: aktiv bedrängend … nervös

Pre-Post-Test Design

idealer menschlicher Berater

idealer Avatar

I-can-EIB-Berater

Pre-Test Post-Test

Attribute: aktiv bedrängend … nervös

Attribute: aktiv bedrängend … nervös

Attribute: aktiv bedrängend … nervös

idealer menschlicher Berater

idealer Avatar

I-can-EIB-Berater

Attribute: aktiv bedrängend … nervös

Attribute: aktiv bedrängend … nervös

t-Test für abhängige Stichproben

t-Test für unabhängige Stichproben

7Ergebnisse der Evaluation

Vergleich der Mittelwerte Pre-Test:t-Test für unabhängige Stichproben

Signifikante Abweichungen der Mittelwerte zwischen IM-IA:---

Signifikante Abweichungen der Mittelwerte zwischen IM-ICE:motiviert p=0,02868begeistert p=0,02351

Signifikante Abweichungen der Mittelwerte zwischen IA-ICE:---

8Ergebnisse der Evaluation

Vergleich der Mittelwerte Post-Test:t-Test für unabhängige Stichproben

keine signifikanten Abweichungen

9Ergebnisse der Evaluation

t-Test für abhängige Stichproben:Pre-Post-Vergleich „Idealer

menschlicher Berater“

Signifikante Abweichungen

möchte ihn wieder sehen p=0,00366motiviert p=0,05109wachsam p=0,0489streng p=0,0377

10Ergebnisse der Evaluation

t-Test für abhängige Stichproben:Pre-Post-Vergleich „Idealer Avatar“

Signifikante Abweichungen

interessiert p=0,01746aufmerksam p=0,00375wachsam p=0,01397

11Ergebnisse der Evaluation

t-Test für abhängige Stichproben:Pre-Post-Vergleich „I-can-EIB-Avatar“

keine signifikanten Abweichungen

12Ergebnisse der Evaluation

Pre-Test: Offene Fragen

1. In welchen Themenbereichen halten Sie den Einsatz von virtuellen Assistenten für sinnvoll?

• keine/gar nicht• Beratung• Hilfethemen• Frage-Antwort-Systeme• neue/schwierige Themen• …

2. Wie beurteilen Sie das Verhalten und das Aussehen des virtuellen Assistenten?

• egal• gut• schlicht• zurückhaltend und visuell ansprechend• ruhig und sachlich• „na ja“• …

3. Wie bewerten Sie die Effizienz bzw. Effektivität des virtuellen Assistenten?

• bringt mich nicht weiter• wichtig• gut• gut, solange er nicht zu aufdringlich

wird• …

4. Ist Ihnen die Gegenwart eines virtuellen Assistenten recht? Bitte begründen Sie die Antwort.

• ja, für Hilfe• nein, ich arbeite mich selbst durch

Programme und greife auf Hilfetexte zurück

• ja, für schnelle Unterstützung bei Fehlbedienungen

• ja, aber nur auf Abruf• …

13Ergebnisse der Evaluation

Post-Test: Offene Fragen

1. In welchen Themenbereichen halten Sie den Einsatz von virtuellen Assistenten für sinnvoll?

• egal• gar nicht• Beratung• Hilfethemen• …

2. Wie beurteilen Sie das Verhalten und das Aussehen des virtuellen Assistenten?

• langweilig• gut• geschmacklos• bescheiden• schlicht• visuell ansprechend, wie Office XP• normal, nicht übertrieben• …

3. Wie bewerten Sie die Effizienz bzw. Effektivität des virtuellen Assistenten?

• als Hilfssystem gut• gut, wenn er Tipps gibt• ein direkter Ansprechpartner wäre mir

lieber• …

4. Ist Ihnen die Gegenwart eines virtuellen Assistenten recht? Bitte begründen Sie die Antwort.

• ja, bei allen Themen• ja, als Hilfesystem• zur Fragestellung wünschenswert• ja, in schwierigen Themenbereichen• nein, er sollte lediglich durch

Fragestellung aktivierbar sein• …

14Ergebnisse der Evaluation

Konsequenzen

Avatar

3D-Chat

TreeTaggerTopicMap

FAQ-Liste

Frage-Baukasten

(+Hilfe-System)

Natürlichsprachliche Eingabe

(+Sprachausgabe)

Freie Gestaltung

Anfangsberatung

Wissen für Anfangsberatung und Anfangsbewertung

themen- und rollenspezifische Räume mit Projektionsflächen

15Ergebnisse der Evaluation

Vielen Dank für Ihre Aufmerksamkeit ...