eLearning I - Ergebnisse der Evaluation

Bei der Evaluation des Web-based Trainings (WBT) wurden zwei Aspekte differenziert, die Handhabung der Anwendung sowie die Leistung der Nutzer bei der Beurteilung des Bildschirmarbeitsplatzes.

Handhabung

• Datengrundlage: Protokolldatei des Webservers.
• Stichprobe: 5704 Besucher in einem Zeitraum von 18 Monaten.
• Fragestellung: In welchem Umfang stellten Elemente des WBT eine Hürde für den Beginn und den Abschluss der Aufgabenbearbeitung dar.

Leistung

• Bedingungen: WBT - Nutzer, die das WBT vollständig bearbeiteten; Labor - Fachkräfte für Arbeitssicherheit, die einen äquivalenten realen Arbeitsplatz beurteilten.
• Datengrundlage: Bearbeitungszeit; Antworten auf die Items der Prüfliste, unter Verwendung nichtparametrischer Kennwerte der Signalentdeckungstheorie, Sensitivität A' (Genauigkeit der Antworten) und Reaktionsneigung B''d (Tendenz zur Angabe eines ergonomischen Gestaltungsdefizits).
• Hypothesen: Im Vergleich zur Labor-Bedingung weist die WBT-Bedingung eine kürzere Bearbeitungszeit auf, was zugleich zu einer geringeren Sensitivität führen sollte, aufgrund eines Zeit-Fehler-Austauschs; im Hinblick auf die Reaktionsneigung wurden keine systematischen Unterschiede zwischen den beiden Bedingungen erwartet.

Handhabung

Die start rate, also der Anteil der Besucher, die sich für die Nutzung des WBT anmeldeten, betrug 22%. Die completion rate als Anteil der Nutzer, die die Aufgabe vollständig bearbeiten, wies einen Wert von 29% auf. Die optionalen Informationen, die über das Anklicken von Hotspots und Hyperlinks im Modell, der Prüfliste und der Rückmeldung aufgerufen werden konnten, wurden vergleichsweise selten genutzt.

Leistung

In der WBT-Bedingung wurde die Aufgabe, wie erwartet, wesentlich schneller bearbeitet als in der Labor-Bedingung. Dies wirkte sich aber nicht auf die Genauigkeit bei der Beantwortung der Fragen zur räumlichen Anordnung der Elemente des Bildschirmarbeitsplatzes aus, hier wiesen die Sensitivitäts-Kennwerte der beiden Bedingungen keine signifikanten Unterschiede auf. Fragen zu Details von einzelnen Objekten wurden allerdings in der WBT-Bedingung im Mittel weniger zutreffend beurteilt als in der Labor-Situation. Zugleich zeigten sich für beide Fragenkategorien bedeutsame Unterschiede in der Reaktionsneigung, die WBT-Bedingung hatte eine generell geringer ausgeprägte Tendenz zu negativen Antworten, also der Angabe von ergonomischen Gestaltungsdefiziten.

Nutzen von VR-Szenarios

Insgesamt zeigen die Ergebnisse, dass das WBT für einen großen Kreis von Personen von Interesse war, deren Leistung im Mittel vergleichbar war mit der von Probanden, die die Aufgabe unter Laborbedingungen anhand eines realen Bildschirmarbeitsplatzes bearbeiteten. Die Leistungsunterschiede bei der Beurteilung von Details ist auf die derzeit noch beschränkten Möglichkeiten zurückzuführen, auf handelsüblichen Computern qualitativ hochwertige VR-Modelle darzustellen. Dieses Problem sollte aber bei zukünftigen Rechnergenerationen zunehmend an Bedeutung verlieren.

Flüchtige und intuitive Informationsverarbeitung

Die Ergebnisse zur completion rate, der Nutzung optionaler Informationen, der Bearbeitungszeit und der Reaktionsneigung weisen darauf hin, dass über das WWW bereitgestellte Informationen weniger eingehend studiert werden als bei traditionellen Medien. Dies dürfte damit zusammenhängen, dass die Mehrzahl der Besucher nur über einen Internet-Zugang mit zeitbasiertem Kostenmodell verfügten. Für diese Benutzergruppe wäre es also angebrachter, statt einer umfassenden Lerneinheit (hier: vollständige Beurteilung eines Bildschirmarbeitsplatzes) mehrere kleinere anzubieten (etwa: separate Behandlung einzelner Aspekte).

Die Implikationen der skizzierten Ergebnisse haben wir in unserem Nachfolge-Projekt INTEGRAL II aufgegriffen.

Gude, D., Branahl, E., Kawalek, P., Prions, A., & Laurig, W. (2003). Evaluation of a virtual reality-based ergonomics tutorial. In D. de Waard, K.A. Brookhuis, S.M. Sommer, & W.B. Verwey (eds.), Human Factors in the Age of Virtual Reality (pp. 117-128). Maastricht, the Netherlands: Shaker Publishing.

Der Text steht als pdf-Datei im Bereich Ausgewählte Publikationen zur Verfügung.