Prozessbasierte Diagnostik des Textverstehens mit multiplen Dokumenten
Ziel
Ziele des Projekts waren:
- Entwicklung eines theoretisch fundierten computerbasierten Tests des Verstehens von multiplen Dokumenten
- Empirische Prüfung der Annahmen von Theorien zu MDL (Multiple Documents Literacy)
- Analyse von Prozessen von MDL und Entwicklung von Prozessindikatoren zur weiterführenden Diagnostik
- Validierung von Testwertinterpretationen an zwei studentischen Kohorten an zwei Standorten und in zwei Fächergruppen
MultiTex war ein Verbundprojekt des Leibniz-Instituts für Bildungsverläufe mit der Otto-Friedrich-Universität Bamberg und dem Deutschen Institut für Internationale pädagogische Forschung (DIPF).
Hintergrund
Um die Anforderungen eines Studiums zu bewältigen, müssen sich Studierende aller Fachrichtungen zur Erweiterung ihrer Kompetenzen selbstreguliert mit Informationen ihres Fachgebiets auseinandersetzen können. Beim Lernen beispielsweise müssen sie üblicherweise mit multiplen Quellen und (Text-)Dokumenten arbeiten, die redundante, ergänzende oder sogar widersprüchliche Informationen enthalten können. Dabei müssen sie nicht nur einzelne Texte verstehen, sondern auch Informationen aus diesen multiplen Dokumenten und Quellen angemessen zueinander in Bezug setzen und integrieren. Bisherige Untersuchungen weisen aber darauf hin, dass Studierende häufig gerade an dieser komplexen Integrationsleistung scheitern.
Vorgehen
Für den MDL-Test wurden drei bis fünf Units mit jeweils zwei bis drei Texten konzipiert. Jede Unit enthielt 5 - 15 Items. Der MDL-Test zielte darauf ab, das theoretisch beschriebene Anforderungsspektrum des Textverstehens mit multiplen Dokumenten abzubilden und zudem Prozess- bzw. Protokolldaten zu generieren. Zur computerbasierten Umsetzung des Tests wurde der CBA ItemBuilder (Rölke, 2012) verwendet.
Der auch unter Nutzung der Daten einer Entwicklungsstudie konstruierte MDL-Test wurde
anschließend in einer Validierungsstudie an den Universitäten Bamberg und Frankfurt eingesetzt. Dabei wurden (querschnittlich) sowohl Studienanfänger (Bachelor im 1. Semester) als auch Abschlusskandidaten (Master im letzten Semester) untersucht, um Hinweise auf die Änderungssensitivität des Tests zu erhalten. Zudem wurde der Zusammenhang von klassischer Lesekompetenz (erfasst mit einem computerbasiert administrierten Lesekompetenztest des Nationalen Bildungspanels) und MDL untersucht. Weitere Variablen wie z.B. die Motivation, Studienerfolg, und epistemologische Überzeugungen wurden ebenfalls erfasst, um weitere Hinweise auf die konvergente und diskriminante Validität zu erhalten und ggf. Substichproben hinsichtlich suboptimaler Ausprägung von MDL bzw. der durchgeführten Strategien identifizieren zu können.
Ergebnisse
Im Rahmen des Projekts wurde ein computerbasiertes Instrument für Studierende entwickelt und validiert, um deren Kompetenz, multiple Dokumente zu verstehen (multiple documents literacy, MDL), zu erfassen. Ein besonderer Schwerpunkt lag dabei auf zusätzlichen prozessbasierten Maßen, die einerseits als 1) zusätzliche diagnostische Informationen herangezogen wurden und andererseits 2) zur Identifikation von Verarbeitungsstrategien beim Umgang mit multiplen Dokumenten und zur empirischen Prüfung von Theorien der MDL untersucht wurden.
Zum weiteren Einsatz in der Praxis an Universitäten wurde im Anschluss an MultiTex das Transferprojekt MultiTex-Transfer beantragt und genehmigt. Hier soll der Test Studierenden der Geistes- und Sozialwissenschaften als Hilfestellung in der Studieneingangsphase zur Verfügung gestellt werden.
Zugang zum MultiTex-Testinstrument für Forschende
Das Testinstrument zur Erfassung des Verständnisses multipler Dokumente von Studierenden kann von Forschenden für wissenschaftliche Forschungsfragestellungen kostenfrei genutzt werden. Der Download wird vom FDZ-Bildung bereitgestellt und ist nach Registrierung und Antragstellung sowie Zustimmung der Urheber:innen möglich. Im Antrag soll der Einsatzzweck beschrieben werden. Weitere Bedingungen regelt das Testnutzungskonzept.
Zum Download
Publikationen
Schoor, C., Zink, T., Mahlow, N., Hahnel, C., Deribo, T., Kroehne, U., Goldhammer, F., Naumann, J., & Artelt, C. (2024). Diagnostik des Leseverständnisses multipler Texte: MultiTex. In T. Richter, & W. Lenhard (Hrsg.),
Diagnose und Förderung des Lesens im digitalen Kontext (S. 101-116). Hogrefe.
https://doi.org/10.1026/03256-000
Schoor, C., Hahnel, C., Artelt, C., Goldhammer, F., & Kröhne, U. (2023). Testinstrument: Multiple document comprehension-test (MDC-Test) [Testinstrument: Version 1.0]: Erstanwendung 2017. Forschungsdatenzentrum Bildung am DIPF.
https://doi.org/10.7477/506:316:57
Mahlow, N., Hahnel, C., Kroehne, U., Artelt, C., Goldhammer, F., & Schoor, C. (2022). The role of domain-related epistemic beliefs for mastering cognitive requirements in multiple document comprehension.
Learning and Individual Differences,
94(3), Article 102116.
https://doi.org/10.1016/j.lindif.2022.102116
Schoor, C., Zink, T., Mahlow, N., Hahnel, C., Deribo, T., Kroehne, U., Goldhammer, F., & Artelt, C. (2022). Das Textverstehen von Studierenden beim Lesen multipler Dokumente und dessen Förderung. In S. Alker-Windbichler, A. Kuhn, B. Lodes, & G. Stocker (Hrsg.),
Bibliothek im Kontext: Akademisches Lesen – Medien, Praktiken, Bibliotheken (5, S. 57-86). Vienna University Press / V&R unipress.
https://www.beck-shop.de/alker-windbichler-kuhn-lodes-stocker-akademisches-lesen/product/33347680
Hahnel, C., Goldhammer, F., Kroehne, U., Mahlow, N., Artelt, C., & Schoor, C. (2021). Automated and controlled processes in comprehending multiple documents.
Studies in Higher Education,
46(10), 2074-2086.
https://doi.org/10.1080/03075079.2021.1953333
Mahlow, N., Hahnel, C., Kroehne, U., Artelt, C., Goldhammer, F., & Schoor, C. (2020). More than (single) text comprehension? On university students’ understanding of multiple documents.
Frontiers in Psychology,
11, Article 562450.
https://doi.org/10.3389/fpsyg.2020.562450
Schoor, C., Hahnel, C., Artelt, C., Reimann, D., Kröhne, U., & Goldhammer, F. (2020). Entwicklung und Skalierung eines Tests zur Erfassung des Verstehens multipler Dokumente von Studierenden.
Diagnostica,
66(2), 123–135.
https://doi.org/10.1026/0012-1924/a000231
Schoor, C., Hahnel, C., Mahlow, N., Klagges, J., Kröhne, U., Goldhammer, F., & Artelt, C. (2020). Multiple document comprehension of university students: Test development and relations to person and process characteristics. In O. Zlatkin-Troitschanskaia, H. A. Pant, M. Toepper, & C. Lautenbach (Eds.),
Student learning in German higher education: Innovative measurement approaches and research results (pp. 221–240). Springer VS.
https://doi.org/10.1007/978-3-658-27886-1_11