Richtlinien zur Durchführung und Einflussfaktoren auf die Replizierbarkeit in unterschiedlichen psychologischen Disziplinen
 

Ziel

Seit einigen Jahren wird in verschiedenen Wissenschaftsbereichen eine „Replikationskrise“ diskutiert, da viele Studien nicht durch Replikation bestätigt werden konnten. Das Projekt „Konzeptuelle Replikationen“ untersucht Faktoren, die die Replizierbarkeit von Forschungsergebnissen beeinflussen. Ziel des methodologischen Projektes ist es, einen Überblick über Faktoren zu geben, die die Replizierbarkeit in verschiedenen Disziplinen beeinflussen, und Richtlinien für die Durchführung systematischer Replikationsstudien bereitzustellen.

Dabei werden insbesondere disziplinäre Herausforderungen für Replikationsstudien untersucht, mit Berücksichtigung von verschiedenen psychologischen Disziplinen, die im Fokus der Replikationskrise stehen (Sozialpsychologie, Kognitionspsychologie, Pädagogische Psychologie). Zentrale Anliegen des Projekts sind die Entwicklung, die Evaluation und der interdisziplinäre Vergleich von Design- und Analysetechniken zur Untersuchung von Replikationsfaktoren.

Das Projekt ist in das DFG-Schwerpunktprogramm SPP 2317 integriert: Ein metawissenschaftliches Programm zur Analyse und Optimierung der Replizierbarkeit in den Verhaltens-, Sozial- und Kognitionswissenschaften (META-REP).

 
 

Hintergrund

Konzeptuelle Replikationen werden durchgeführt, um die Stabilität von Studienbefunden unter veränderten Bedingungen zu prüfen. Dabei liegt der Fokus auf der Frage, ob Abwandlungen im Untersuchungsdesign den Studienbefund kritisch beeinflussen.

Anforderungen an die systematische Ausgestaltung von Replikationsstudien wurden unter anderem von der National Science Foundation und dem Institute of Education Sciences, U.S. Department of Education (2018) formuliert. Die dort beschriebene gezielte Variation von Studienfaktoren wurde jedoch nur selten in die Praxis umgesetzt. Das Causal Replication Framework (CRF) von Vivian Wong (Universität Virginia) und Peter Steiner (Universität Maryland) bietet eine theoretische Grundlage für Replikationsstudien und eine Anleitung zur systematischen Variation von Studienfaktoren. Ausführliche Informationen zum Framework, zu designbasierten Replikationsansätzen sowie zu Analysetechniken für die Sicherstellung und Prüfung der CRF-Annahmen finden sich auf der Website Collaboratory Replication Lab (edreplication.org). Bislang wurde das CRF für konzeptuelle Replikationen in der pädagogischen Psychologie angewandt. In Verbindung mit diesen Arbeiten, wird das CRF in diesem Projekt für verschiedene Disziplinen nutzbar gemacht und es werden praktische Beispielstudien sowie Richtlinien für die Durchführung konzeptueller Replikationen zur Verfügung gestellt. Damit soll die Lücke zwischen dem theoretischen CRF, den Design- und Analysemethoden und der Anwendung in inhaltlichen Forschungsfeldern geschlossen werden. 

 

Vorgehen

  • Literaturreview zur aktuellen Praxis: Überblick über die gezielte Variation von Studienfaktoren bei konzeptuellen Replikationen
  • Studienaufbau und Präregistrierung: Design von iterativen Replikationsstudien in der Sozial- und Kognitionspsychologie basierend auf dem Causal Replication Framework
  • Implementierung und Datenmanagement: Durchführung der Replikationsstudien
  • Datenanalyse und Zusammenfassung der empirischen Ergebnisse: Untersuchung der Einflussfaktoren für Effektheterogenität innerhalb und zwischen den Disziplinen
  • Ableitung von Richtlinien: Meta-Perspektive zu Design und Analysemethoden für konzeptuelle Replikationen
  • Ergebnistransfer und Informationsverbreitung: Workshops und Online-Material
 

Projekt-Steckbrief

  • Projektlaufzeit: 01/2022 – 06/2025
  • Förderer: Deutsche Forschungsgemeinschaft, DFG-Schwerpunktprogramm SPP 2317: Ein metawissenschaftliches Programm zur Analyse und Optimierung der Replizierbarkeit in den Verhaltens-, Sozial- und Kognitionswissenschaften (META-REP)

meta-rep

 
Projektpartner
Freie Universität Berlin
Universität zu Köln
LMU Ludwig-Maximilians-Universität München
 

Publikationen

2025

Hoffmann, J., Twardawski, M., Höhs, J. M., Gast, A., Pohl, S., & Sengewald, M.-A. (2025). The design of current replication studies: A systematic literature review on the variation of study characteristics. Advances in Methods and Practices in Psychlogical Science, 8(2), Advance online publication. https://doi.org/10.1177/25152459251328273
Knitter, L. A., Hoffmann, J., Eid, M., & Koch, T. (2025). Measuring the dark triad: A meta-analytical SEM study of two prominent short scales. Frontiers in Psychology, 15, Article 1469970. https://doi.org/10.3389/fpsyg.2024.1469970

2024

Hoffmann, J., Twardawski, M., Kondzic, D., Pohl, S., Gast, A., Höhs, J., & Sengewald, M.-A. (2024). Identifying causes of effect heterogeneity in replication studies: An application of the Causal Replication Framework. In U. Ansorge, D. Gugerell, U. Pomper, B. Szaszkó, & L. Werner (Eds.), Congress of the German and Austrian Psychological Societies 2024 (pp. 597-598). Pabst Science Publishers. https://doi.org/10.2440/0003
Koch, T., & Sengewald, M.-A. (2024). Improving Psychological research through formal methodological frameworks: Illustrations for measurement, missing data, explanation, replication. In U. Ansorge, D. Gugerell, U. Pomper, B. Szaszkó, & L. Werner (Eds.), Congress of the German and Austrian Psychological Societies 2024 (pp. 598). Pabst Science Publishers. https://doi.org/10.2440/0003
Kondzic, D., Hoffmann, J., Sengewald, M.-A., & Pohl, S. (2024). Assessing replication success: A systematic comparison of correspondence measures. In U. Ansorge, D. Gugerell, U. Pomper, B. Szaszkó, & L. Werner (Eds.), Congress of the German and Austrian Psychological Societies 2024 (pp. 597). Pabst Science Publishers. https://doi.org/10.2440/0003
Pohl, S., Kondzic, D., Hoffmann, J., & Sengewald, M.-A. (2024). Analyses of causal effects of study aspects on effect heterogeneity across replication studies. In U. Ansorge, D. Gugerell, U. Pomper, B. Szaszkó, & L. Werner (Eds.), Congress of the German and Austrian Psychological Societies 2024 (pp. 600-601). Pabst Science Publishers. https://doi.org/10.2440/0003