Digital Formative Assessment
Ziel
Durch die Nutzung digitaler Trace-Daten in Online-Kursen werden in DiFA neue Formen der nicht-invasiven Messung entwickelt (sog. "stealth assessment") und die Möglichkeiten von automatisiertem, lernunterstützenden Feedback untersucht. Die Ergebnisse dieser Forschung sind von hoher Relevanz für ein besseres Verständnis des Lernverhaltens und der Lernergebnisse sowie für die automatisierte Bereitstellung von individuellem Feedback an die Lernenden in digitalen Umgebungen.
Hintergrund
Beim Lernen in einer digitalen Lernumgebung bieten Learning Analytics-Ansätze viele Möglichkeiten, um auf Basis von multimodalen Daten in Ergänzung zu traditionelleren verhaltensbezogenen psychometrischen Verfahren einen differenzierten Blick auf Lernzustände und Leistungen von Lernenden zu richten (z.B. Di Mitri et al., 2018). Im Projekt DiFA werden methodische Perspektiven aus den Bereichen Psychometrie und Learning Analytics kombiniert, um Lernende durch automatisiertes Feedback zu unterstützen.
Vorgehen und Methode
Um die oben genannten Trace-Daten in einer realen Lernsituation erheben und auswerten zu können, wird im Projekt DiFA ein Online-Kurs zum Thema „Digitale Bildung“ für Lehramtsstudierende entwickelt, der nach Projektende als Open Educational Ressource zur Verfügung stehen soll. Auf Basis der so gewonnenen Daten wird im Laufe des Projekts ein automatisiertes lernunterstützendes Feedback entwickelt. In der zweiten Projektphase wird überprüft, ob sich dieses Feedback positiv auf den Lernfortschritt der Studierenden auswirkt.
- Pilotierungsphase
In der Pilotierungs-Phase sollen aus Trace-Daten, die im Online-Kurs generiert werden, Indikatoren über das Lernverhalten gebildet und anhand von standardisierten psychometrischen Messverfahren validiert werden. Trace-Daten können als digitaler Fußabdruck verstanden werden. Beispielsweise kann die Zeiteinteilung ein nützlicher Indikator für das Engagement beim Lernen sein oder der Lernverlauf (z.B. die Kohärenz ausgewählter Texte bzw. von Lernschritten) ein Indikator für die Selbstregulation. Die Indikatoren zielen also auf die Erfassung von Fähigkeiten und Eigenschaften von Lernenden ab, die bei der Nutzung digitaler Lernumgebungen in der Hochschulbildung von Bedeutung sind. Zu diesem Zweck müssen das pädagogische Konzept und die Gestaltung der interaktiven Lernumgebung des Online-Kurses eng aufeinander abgestimmt werden. Damit wird die Voraussetzung geschaffen, um aussagekräftige Indikatoren über das Lernverhalten gewinnen zu können.
- Evaluationsphase
In der Evaluationsphase wird eine zweite Kohorte von Studierenden den Online-Kurs durchlaufen. Eine Hälfte dieser Kohorte soll auf Grundlage der validierten Verhaltensindikatoren ein automatisiertes lernunterstützendes Feedback zum eigenen Lernverhalten bekommen. Die andere Hälfte dient als Kontrollgruppe. Durch eine Prä-Post-Messung zu den Lernzielen des Kurses soll überprüft werden, ob sich das Feedback positiv auf den Lernfortschritt der Studierenden auswirkt.