Digital Formative Assessment
 

Ziel

Durch die Nutzung digitaler Trace-Daten in Online-Kursen wurden in DiFA neue Formen der nicht-invasiven Messung entwickelt (sog. "stealth assessment") und die Möglichkeiten von automatisiertem, lernunterstützenden Feedback untersucht. Die Ergebnisse dieser Forschung sind von hoher Relevanz für ein besseres Verständnis des Lernverhaltens und der Lernergebnisse sowie für die automatisierte Bereitstellung von individuellem Feedback an die Lernenden in digitalen Umgebungen.

 

Hintergrund

Beim Lernen in einer digitalen Lernumgebung bieten Learning Analytics-Ansätze viele Möglichkeiten, um auf Basis von multimodalen Daten in Ergänzung zu traditionelleren verhaltensbezogenen psychometrischen Verfahren einen differenzierten Blick auf Lernzustände und Leistungen von Lernenden zu richten (z.B. Di Mitri et al., 2018). Im Projekt DiFA wurden methodische Perspektiven aus den Bereichen Psychometrie und Learning Analytics kombiniert, um Lernende durch automatisiertes Feedback zu unterstützen.

 

Vorgehen und Methode

Um die oben genannten Trace-Daten in einer realen Lernsituation erheben und auswerten zu können, wurde im Projekt DiFA ein Online-Kurs zum Thema „Digitale Bildung“ für Lehramtsstudierende entwickelt. Auf Basis der so gewonnenen Daten wurde im Laufe des Projekts ein automatisiertes lernunterstützendes Feedback entwickelt. In der zweiten Projektphase wurde überprüft, ob sich dieses Feedback positiv auf den Lernfortschritt der Studierenden auswirkte.

  1. Pilotierungsphase
    In der Pilotierungs-Phase stand im Fokus, aus Trace-Daten, die im Online-Kurs generiert wurden, Indikatoren über das Lernverhalten zu bilden und anhand von standardisierten psychometrischen Messverfahren zu validieren. Trace-Daten können als digitaler Fußabdruck verstanden werden. Beispielsweise kann die Zeiteinteilung ein nützlicher Indikator für das Engagement beim Lernen sein oder der Lernverlauf (z.B. die Kohärenz ausgewählter Texte bzw. von Lernschritten) ein Indikator für die Selbstregulation. Die Indikatoren zielten also auf die Erfassung von Fähigkeiten und Eigenschaften von Lernenden ab, die bei der Nutzung digitaler Lernumgebungen in der Hochschulbildung von Bedeutung sind. Zu diesem Zweck mussten das pädagogische Konzept und die Gestaltung der interaktiven Lernumgebung des Online-Kurses eng aufeinander abgestimmt werden. Damit wurde die Voraussetzung geschaffen, um aussagekräftige Indikatoren über das Lernverhalten gewinnen zu können.
  2. Evaluationsphase
    In der Evaluationsphase durchlief eine zweite Kohorte von Studierenden den Online-Kurs. Eine Hälfte dieser Kohorte erhielt auf Grundlage der validierten Verhaltensindikatoren ein automatisiertes lernunterstützendes Feedback zum eigenen Lernverhalten. Die andere Hälfte diente als Kontrollgruppe. Durch eine Prä-Post-Messung zu den Lernzielen des Kurses wurde überprüft, ob sich das Feedback positiv auf den Lernfortschritt der Studierenden auswirkte.
 

Ergebnisse

Im Projekt wurde auf Basis einer umfangreichen Pilotierungsphase ein Tool entwickelt, das mithilfe von Log-Daten (z.B. Klickverhalten, Bearbeitungsgeschwindigkeit und -dauer) individuelle Verhaltensindikatoren ableitet und daraus personalisiertes Feedback erstellt, welches über ein Dashboard an die Testperson zurückgespielt wird. An der anschließenden Evaluationsstudie zur Wirksamkeit des Feedbacks und der eingesetzten Methoden nahmen 500 Lehramtsstudierende aus zwei deutschen Universitäten teil, die im Laufe eines Semesters und bei freier Zeiteinteilung einen Onlinekurs zum Thema „Einsatz digitaler Medien im Unterricht“ bearbeiteten. Ein Teil der Studierenden erhielt nach jeder Lerneinheit auf dem Dashboard personalisierte Tipps zum effektiveren Lernen sowie Reflexionstexte und Erläuterungen zu Begriffen und Konstrukten aus dem Bereich selbstreguliertes Lernen. Die Studierenden der Kontrollgruppe erhielten nicht-personalisiertes Feedback in Form von Informationen zu Verhaltensstatistiken. In ersten Auswertungen zeigte sich, dass im Laufe des Semesters Veränderungen sowohl beim Fachwissen als auch bei den Einstellungen zum Lernen nachweisbar sind.  Es zeigte sich ferner, dass nicht einzelne Indikatoren des Bearbeitungsverhaltens, sondern die Kombination verschiedener Indikatoren aus den Log-Daten in der Lage war, selbstberichteten Lernengagement der Studierenden zu erklären und das Zusammenspiel von Verhalten, Emotion und Kognition im Lernprozess damit ansatzweise abzubilden. Angesichts dieser Komplexität ist es bemerkenswert, dass die entwickelten Modelle zur Vorhersage des Lernengagements über die Zeit stabil und übertragbar auf vergleichbare Kontexte blieben. Die Studie gezeigte, dass es möglich ist, das komplexe Konzept des Lernengagements, das typischerweise durch psychometrische Selbstberichte erfasst wird, über Log-Daten abzubilden. Die Verbindung Selbstberichts- und Verhaltensdaten die Entwicklung hilfreicher und simultan erfolgender Feedback-Dashboards deutlich steigern. 

Auch nach Abschluss des Projektes wird mit den Daten, die auch veröffentlich wurden, weiter gearbeitet, diese Seite jedoch nicht weiter aktualisiert. 

 

Projekt-Steckbrief

 
Projektpartner
DIPF Leibniz-Institut für Bildungsforschung und Bildungsinformation
Goethe Universität Frankfurt a. Main
 

Publikationen

2024

Giorgashvili, C., Jivet, I., Artelt, C., Biedermann, D., Bengs, D., Goldhammer, F., Hahnel, C., Mendzheritskaya, J., Mordel, J., Onofrei, M., Winter, M., Wolter, I., Horz, H., & Drachsler, H. (2024). Exploring learners’ self-reflection and intended actions after consulting learning analytics dashboards in an authentic learning setting. In R. Ferreira Mello, N. Rummel, I. Jivet, G. Pishtari, & J. A. Ruiperez Valiente (Eds.), Technology enhanced learning for inclusive and equitable quality education: 19th European Conference on Technology Enhanced Learning, EC-TEL 2024, Krems, Austria, September 16–20, 2024, Proceedings, Part I (pp. 135-151). Springer.
Winter, M., Mordel, J., Mendzheritskaya, J., Biedermann, D., Ciordas-Hertel, G.-P., Hahnel, C., Bengs, D., Wolter, I., Goldhammer, F., Drachsler, H., Artelt, C., & Horz, H. (2024). Behavioral trace data in an online learning environment as indicators of learning engagement in university students. Frontiers in Psychology, 15, Article 1396881. https://doi.org/10.3389/fpsyg.2024.1396881