Prozessbasierte Diagnostik des Textverstehens mit multiplen Dokumenten
Ziel
Ziele des Projekts waren:
- Entwicklung eines theoretisch fundierten computerbasierten Tests des Verstehens von multiplen Dokumenten
- Empirische Prüfung der Annahmen von Theorien zu MDL (Multiple Documents Literacy)
- Analyse von Prozessen von MDL und Entwicklung von Prozessindikatoren zur weiterführenden Diagnostik
- Validierung von Testwertinterpretationen an zwei studentischen Kohorten an zwei Standorten und in zwei Fächergruppen
MultiTex war ein Verbundprojekt des Leibniz-Instituts für Bildungsverläufe mit der Otto-Friedrich-Universität Bamberg und dem Deutschen Institut für Internationale pädagogische Forschung (DIPF).
Hintergrund
Um die Anforderungen eines Studiums zu bewältigen, müssen sich Studierende aller Fachrichtungen zur Erweiterung ihrer Kompetenzen selbstreguliert mit Informationen ihres Fachgebiets auseinandersetzen können. Beim Lernen beispielsweise müssen sie üblicherweise mit multiplen Quellen und (Text-)Dokumenten arbeiten, die redundante, ergänzende oder sogar widersprüchliche Informationen enthalten können. Dabei müssen sie nicht nur einzelne Texte verstehen, sondern auch Informationen aus diesen multiplen Dokumenten und Quellen angemessen zueinander in Bezug setzen und integrieren. Bisherige Untersuchungen weisen aber darauf hin, dass Studierende häufig gerade an dieser komplexen Integrationsleistung scheitern.
Vorgehen
Für den MDL-Test wurden drei bis fünf Units mit jeweils zwei bis drei Texten konzipiert. Jede Unit enthielt 5 - 15 Items. Der MDL-Test zielte darauf ab, das theoretisch beschriebene Anforderungsspektrum des Textverstehens mit multiplen Dokumenten abzubilden und zudem Prozess- bzw. Protokolldaten zu generieren. Zur computerbasierten Umsetzung des Tests wurde der CBA ItemBuilder (Rölke, 2012) verwendet.
Der auch unter Nutzung der Daten einer Entwicklungsstudie konstruierte MDL-Test wurde
anschließend in einer Validierungsstudie an den Universitäten Bamberg und Frankfurt eingesetzt. Dabei wurden (querschnittlich) sowohl Studienanfänger (Bachelor im 1. Semester) als auch Abschlusskandidaten (Master im letzten Semester) untersucht, um Hinweise auf die Änderungssensitivität des Tests zu erhalten. Zudem wurde der Zusammenhang von klassischer Lesekompetenz (erfasst mit einem computerbasiert administrierten Lesekompetenztest des Nationalen Bildungspanels) und MDL untersucht. Weitere Variablen wie z.B. die Motivation, Studienerfolg, und epistemologische Überzeugungen wurden ebenfalls erfasst, um weitere Hinweise auf die konvergente und diskriminante Validität zu erhalten und ggf. Substichproben hinsichtlich suboptimaler Ausprägung von MDL bzw. der durchgeführten Strategien identifizieren zu können.
Ergebnisse
Im Rahmen des Projekts wurde ein computerbasiertes Instrument für Studierende entwickelt und validiert, um deren Kompetenz, multiple Dokumente zu verstehen (multiple documents literacy, MDL), zu erfassen. Ein besonderer Schwerpunkt lag dabei auf zusätzlichen prozessbasierten Maßen, die einerseits als 1) zusätzliche diagnostische Informationen herangezogen wurden und andererseits 2) zur Identifikation von Verarbeitungsstrategien beim Umgang mit multiplen Dokumenten und zur empirischen Prüfung von Theorien der MDL untersucht wurden.
Zum weiteren Einsatz in der Praxis an Universitäten wurde im Anschluss an MultiTex das Transferprojekt MultiTex-Transfer beantragt und genehmigt. Hier soll der Test Studierenden der Geistes- und Sozialwissenschaften als Hilfestellung in der Studieneingangsphase zur Verfügung gestellt werden.
Publikationen
Schoor, C., Zink, T., Mahlow, N., Hahnel, C., Deribo, T., Kroehne, U., Goldhammer, F., Naumann, J., & Artelt, C. (in press). Diagnostik des Leseverständnisses multipler Texte: MultiTex. In T. Richter, & W. Lenhard (Hrsg.), Diagnose und Förderung des Lesens im digitalen Kontext. Hogrefe.
Artelt, C. (17. Oktober 2022). Vorstellung des Projekts Verbund MultiTex-Transfer. Prozessbasierte Diagnostik des Textverstehens mit multiplen Dokumenten [Vortrag]. Evaluation der Förderlinie „KoKoHS-Transfer“, Bonn, Deutschland.
Kroehne, U., Hahnel, C., Deribo, T., Zink, T., Mahlow, N., Artelt, C., Goldhammer, F., Naumann, N. J., & Schoor, C. (9. März 2022 - 11. März 2022). Die Integration psychometrischer Assessments mit Prozessindikatoren in Lernmanagementsystemen [Vortrag]. 9. Tagung der Gesellschaft für Empirische Bildungsforschung (GEBF), Bamberg, Deutschland.
Mahlow, N., Hahnel, C., Kroehne, U., Artelt, C., Goldhammer, F., & Schoor, C. (2022). The role of domain-related epistemic beliefs for mastering cognitive requirements in multiple document comprehension.
Learning and Individual Differences,
94(3), Article 102116.
https://doi.org/10.1016/j.lindif.2022.102116
Schoor, C., Zink, T., Mahlow, N., Hahnel, C., Deribo, T., Kroehne, U., Goldhammer, F., & Artelt, C. (2022). Das Textverstehen von Studierenden beim Lesen multipler Dokumente und dessen Förderung. In S. Alker-Windbichler, A. Kuhn, B. Lodes, & G. Stocker (Hrsg.),
Bibliothek im Kontext: Akademisches Lesen – Medien, Praktiken, Bibliotheken (5) (1st ed., S. 57-86). Vienna University Press / V&R unipress.
https://www.beck-shop.de/alker-windbichler-kuhn-lodes-stocker-akademisches-lesen/product/33347680
Hahnel, C., Goldhammer, F., Kroehne, U., Mahlow, N., Artelt, C., & Schoor, C. (2021). Automated and controlled processes in comprehending multiple documents.
Studies in Higher Education,
46(10), 2074-2086.
https://doi.org/10.1080/03075079.2021.1953333
Zink, T., Hahnel, C., & Kröhne, U. (23. August 2021 - 27. August 2021). Effects of score-based and log data-based feedback in a test of multiple document comprehension [Posterpräsentation]. 19th Biennial European Conference for Research on Learning and Instruction (EARLI), Gothenburg, Sweden.
Mahlow, N., Hahnel, C., Kroehne, U., Artelt, C., Goldhammer, F., & Schoor, C. (2020). More than (single) text comprehension? On university students’ understanding of multiple documents.
Frontiers in Psychology,
11, Article 562450.
https://doi.org/10.3389/fpsyg.2020.562450
Schoor, C., Hahnel, C., Artelt, C., Reimann, D., Kröhne, U., & Goldhammer, F. (2020). Entwicklung und Skalierung eines Tests zur Erfassung des Verstehens multipler Dokumente von Studierenden.
Diagnostica,
66(2), 123–135.
https://doi.org/10.1026/0012-1924/a000231
Schoor, C., Hahnel, C., Mahlow, N., Klagges, J., Kröhne, U., Goldhammer, F., & Artelt, C. (2020). Multiple document comprehension of university students: Test development and relations to person and process characteristics. In O. Zlatkin-Troitschanskaia, H. A. Pant, M. Toepper, & C. Lautenbach (Eds.),
Student learning in German higher education: Innovative measurement approaches and research results (pp. 221–240). Springer VS.
https://doi.org/10.1007/978-3-658-27886-1_11
Mahlow, N. (8. Juli 2019 - 11. Juli 2019). Mehr als Lesekompetenz? Befunde zum Verständnis multipler Dokumente von Studierenden [Posterpräsentation]. Posterpräsentation im Rahmen der 5. ZIB-Akademie 2019, Bernried, Deutschland.
Mahlow, N. (9. September 2019 - 12. September 2019). More than reading competence? Findings on the understanding of multiple documents by university students [Vortrag]. Paper presented at the Joint Conference of the Sections Developmental and Educational Psychology 2019, Leipzig, Germany.
Mahlow, N., Schoor, C., Hahnel, C., Kröhne, U., Artelt, C., & Goldhammer, F. (25. Februar 2019 - 27. Februar 2019). Mehr als Lesekompetenz? Befunde zum Verständnis multipler Dokumente von Studierenden [Vortrag]. Vortrag im Rahmen der 7. Jahrestagung der Gesellschaft für Empirische Bildungsforschung, Köln, Deutschland.
Mahlow, N. (1. Dezember 2018). MultiTex: Results of the pilot study [Posterpräsentation]. Poster presented at the international junior faculty research conference (KoKoHs), Berlin, Germany.
Mahlow, N. (1. Mai 2018). MultiTex project presentation and research on epistemic beliefs [Vortrag]. Paper presented at the research seminar of the Leibniz Institute for Educational Trajectories, Bamberg, Germany.
Mahlow, N., Schoor, C., Hahnel, C., Kröhne, U., Artelt, C., & Goldhammer, F. (17. Juli 2018 - 19. Juli 2018). Domain-related epistemic beliefs and their relation to multiple document comprehension [Vortrag]. Paper presented at the 28th Annual Meeting of the Society for Text & Discourse, Brighton, England.
Mahlow, N., Schoor, C., Hahnel, C., Kröhne, U., Artelt, C., & Goldhammer, F. (28. September 2018). MultiTex: Results of the pilot study [Vortrag]. Poster presented at the audit of the Department 1, Bamberg, Germany.
Mahlow, N. (1. Dezember 2017). The relation of domain-related epistemic beliefs to cognitive requirements in multiple documents literacy [Vortrag]. Paper presented at the research seminar of Department 1, Bamberg, Germany.
Reimann, D. (11. Mai 2017). MultiTex: Prozessbasierte Diagnostik des Textverstehens mit multiplen Dokumenten (Multiple Documents Literacy) [Vortrag]. Vortrag im Rahmen der Vorstellungsrunde der Drittmittelprojekte des Leibniz-Instituts für Bildungsverläufe e.V., Bamberg, Deutschland.