Digital Formative Assessment
 

Aim

By using digital trace data in online courses, DiFA will develop new forms of non-invasive measurement (so-called "stealth assessment") and investigate the possibilities of automated feedback that supports learning. The results of this research are highly relevant for a better understanding of learning behavior and outcomes, as well as for the automated provision of individualized feedback to learners in digital environments.

 

Background

When learning in a digital learning environment, learning analytics approaches offer many opportunities to take a differentiated look at learning states and learner performance based on multimodal data in addition to more traditional behavioral psychometric methods (e.g. Di Mitri et al., 2018). In the DiFA project, methodical perspectives from the fields of psychometrics and learning analytics are combined in order to support learners with automated feedback.

 

Approach

In order to be able to collect and evaluate the above mentioned trace data in a real learning situation, the DiFA project will develop an online course on "Digital Education" for student teachers, which will be available as an Open Educational Resource after the end of the project. On the basis oft he data thus obtained, automated learning support feedback will be developed in the course of the project. In the second phase of the project, it will be verified whether this feedback has a positive effect on the learning progress of the students.

1. Pilot Phase
In the pilot phase, indicators about learning behavior will be formed from trace data generated in the online course and validated using standardized psychometric measurement procedures. Trace data can be understood as a digital footprint. For example, time management can be a useful indicator of engagement in learning, or learning progression (e.g., the coherence of selected texts or learning steps) an indicator of self-regulation. Thus, the indicators aim to capture learners' skills and characteristics that are relevant in the use of digital learning environments in higher education. To this end, the pedagogical concept and the design of the interactive learning environment of the online course must be closely coordinated. This will set the stage for gaining meaningful indicators about learning behavior.

2. Evaluation Phase
In the evaluation phase, a second cohort of students will go through the online course. One half of this cohort will receive automated learning support feedback on their own learning behavior based on the validated behavioral indicators. The other half will serve as a control group. A pre-post measurement on the learning objectives of the course will be used to verify whether the feedback has a positive impact on the students' learning progress.

 

Ergebnisse

Im Projekt wurde auf Basis einer umfangreichen Pilotierungsphase ein Tool entwickelt, das mithilfe von Log-Daten (z.B. Klickverhalten, Bearbeitungsgeschwindigkeit und -dauer) individuelle Verhaltensindikatoren ableitet und daraus personalisiertes Feedback erstellt, welches über ein Dashboard an die Testperson zurückgespielt wird. An der anschließenden Evaluationsstudie zur Wirksamkeit des Feedbacks und der eingesetzten Methoden nahmen 500 Lehramtsstudierende aus zwei deutschen Universitäten teil, die im Laufe eines Semesters und bei freier Zeiteinteilung einen Onlinekurs zum Thema „Einsatz digitaler Medien im Unterricht“ bearbeiteten. Ein Teil der Studierenden erhielt nach jeder Lerneinheit auf dem Dashboard personalisierte Tipps zum effektiveren Lernen sowie Reflexionstexte und Erläuterungen zu Begriffen und Konstrukten aus dem Bereich selbstreguliertes Lernen. Die Studierenden der Kontrollgruppe erhielten nicht-personalisiertes Feedback in Form von Informationen zu Verhaltensstatistiken. In ersten Auswertungen zeigte sich, dass im Laufe des Semesters Veränderungen sowohl beim Fachwissen als auch bei den Einstellungen zum Lernen nachweisbar sind.  Es zeigte sich ferner, dass nicht einzelne Indikatoren des Bearbeitungsverhaltens, sondern die Kombination verschiedener Indikatoren aus den Log-Daten in der Lage war, selbstberichteten Lernengagement der Studierenden zu erklären und das Zusammenspiel von Verhalten, Emotion und Kognition im Lernprozess damit ansatzweise abzubilden. Angesichts dieser Komplexität ist es bemerkenswert, dass die entwickelten Modelle zur Vorhersage des Lernengagements über die Zeit stabil und übertragbar auf vergleichbare Kontexte blieben. Die Studie gezeigte, dass es möglich ist, das komplexe Konzept des Lernengagements, das typischerweise durch psychometrische Selbstberichte erfasst wird, über Log-Daten abzubilden. Die Verbindung Selbstberichts- und Verhaltensdaten die Entwicklung hilfreicher und simultan erfolgender Feedback-Dashboards deutlich steigern. 

Auch nach Abschluss des Projektes wird mit den Daten, die auch veröffentlich wurden, weiter gearbeitet, diese Seite jedoch nicht weiter aktualisiert. 

 

Project profile

 
Project partners
DIPF Leibniz-Institut für Bildungsforschung und Bildungsinformation
Goethe Universität Frankfurt a. Main
 

Publications

2024

Giorgashvili, C., Jivet, I., Artelt, C., Biedermann, D., Bengs, D., Goldhammer, F., Hahnel, C., Mendzheritskaya, J., Mordel, J., Onofrei, M., Winter, M., Wolter, I., Horz, H., & Drachsler, H. (2024). Exploring learners’ self-reflection and intended actions after consulting learning analytics dashboards in an authentic learning setting. In R. Ferreira Mello, N. Rummel, I. Jivet, G. Pishtari, & J. A. Ruiperez Valiente (Eds.), Technology enhanced learning for inclusive and equitable quality education: 19th European Conference on Technology Enhanced Learning, EC-TEL 2024, Krems, Austria, September 16–20, 2024, Proceedings, Part I (pp. 135-151). Springer.
Winter, M., Mordel, J., Mendzheritskaya, J., Biedermann, D., Ciordas-Hertel, G.-P., Hahnel, C., Bengs, D., Wolter, I., Goldhammer, F., Drachsler, H., Artelt, C., & Horz, H. (2024). Behavioral trace data in an online learning environment as indicators of learning engagement in university students. Frontiers in Psychology, 15, Article 1396881. https://www.frontiersin.org/journals/psychology/articles/10.3389/fpsyg.2024.1396881/full
Project partners
DIPF Leibniz-Institut für Bildungsforschung und Bildungsinformation
Goethe Universität Frankfurt a. Main