Bei den in den Bildungs-, Sozial- und Verhaltenswissenschaften oft verwendeten Bewertungsskalen wird die Zustimmung eines Studienteilnehmers bzw. einer Studienteilnehmerin zu vorgegebenen Aussagen mittels einer Skala erfasst, beispielsweise von „trifft voll und ganz zu“ bis „trifft überhaupt nicht zu“. Die Schwächen solcher Bewertungsskalen (Rating Skalen = RS) kommen dann zum Tragen, wenn die Testpersonen zu Antwortstilen wie Extrem- oder Mittelkreuzen oder zu intendierten Verfälschungen neigen, beispielsweise in Form sozial erwünschter Antworten. Prof. Dr. Eunike Wetzel von der Universität Koblenz-Landau hat in ihrer LIfBi Lecture einen alternativen Ansatz zur Erhebung von Persönlichkeitseigenschaften vorgestellt: Der Multidimensionale Forced-Choice-Ansatz (MFC) soll weniger anfällig für formale Antwortstile sowie intentionales Faking sein.
Bei einem Fragebogen, der mithilfe des MFC konzipiert ist, wird der Testperson ein Set unterschiedlicher Aussagen, beispielsweise zu Persönlichkeitseigenschaften vorgelegt, die in eine Reihenfolge zu bringen sind. Bei jedem neuen Set muss die Testperson also immer wieder eine Wahl treffen und die Aussagen inhaltlich gegeneinander gewichten. Laut Wetzel liegt darin der Vorteil des MFC-Ansatzes: „Bei unserer Ranking-Aufgabe ist es nicht möglich, alle Merkmale gleichzeitig und gleich stark zu verfälschen.“ Das MFC-Format stelle damit eine geeignete Möglichkeit dar, um Verfälschungen bei Befragungen zu reduzieren.
Werden die mittels MFC erhobenen Daten mit klassischen Verfahren ausgewertet, entstehen sogenannte „ipsative Messwerte“, mit denen keine Vergleichbarkeit zwischen Personen möglich ist, sondern nur eine intra-individuelle Analyse der abgefragten Eigenschaften. Um interindividuelle Vergleiche anstellen zu können, erfolgt die Auswertung von MFC-Daten deshalb vorzugsweise auf Basis eines neuartigen statistischen Verfahrens, des sog. Thurstonian Item-Response-Models (T-IRM). Dieses erlaubt die Ableitung von normativen Merkmalsschätzungen und macht so interindividuelle Vergleiche möglich.
Eunike Wetzel stellte dazu eine statistische Simulation sowie zwei Studien vor, die die angenommenen Vorteile von MFC gegenüber RS untersuchten.
In der statistischen Simulation (Frick, Brown, & Wetzel, under review) wurde untersucht, inwiefern die Auswertung des MFC-Formats mit dem T-IRM im Vergleich zu einer klassischen Auswertung zu normativen Schätzungen der Personenfähigkeit führt. Personenschätzer aus dem T-IRM zeigten im Gegensatz zu klassischen Testwerten keine Verzerrung (z.B. in den Traitkorrelationen), außer in der Bedingung mit ausschließlich positiv gepolten Items. Das mit dem T-IRM ausgewertete MFC-Format zeigte in den meisten Bedingungen ähnliche Ergebnisse wie RS, wobei RS insgesamt genauere Schätzungen erlaubten.
Bei der ersten Studie (Wetzel & Frick, 2020) wurden anhand von empirischen Daten von knapp 1.000 Personen das MFC- und RS-Format bei einem Persönlichkeitsinstrument zur Messung der sogenannten „Big Five“ (Extraversion, Gewissenhaftigkeit, Verträglichkeit, Offenheit, Neurotizismus) verglichen. Die Übereinstimmung der Messungen (konvergente Validität) für die Eigenschaften Extraversion, Offenheit und Neurotizismus waren dabei zufriedenstellend, für die Eigenschaften Gewissenhaftigkeit und Verträglichkeit jedoch schlechter.
In der zweiten Studie (Wetzel, Frick, & Brown, 2020) wurde untersucht, ob das MFC-Format sozial erwünschte Antworten verringert. Dazu mussten die Personen das Big-Five-Instrument (entweder im MFC- oder im RS-Format) jeweils zwei Mal bearbeiten. Beim ersten Mal sollten sie ehrliche Antworten geben, beim zweiten Mal sollten sie sich möglichst positiv darstellen, um einen fiktiven Masterplatz zu erhalten. Es zeigte sich, dass beim MFC-Format die Differenz zwischen den Scores (2. - 1. Messzeitpunkt) kleiner ausfiel als für das RS-Format. Dies liefere einen Hinweis darauf, dass das MFC-Format intentionales Faking erschwert: „Das MFC-Format ist nicht fälschungssicher, aber es ist eine effektive Strategie, um Fälschungen zu reduzieren.“, so die Co-Leiterin der Arbeitsgruppe Diagnostik an der Universität Koblenz-Landau.
In ihrer Zusammenfassung kam Eunike Wetzel zu den vorläufigen Schlussfolgerungen, dass im Hinblick auf das MFC-Format der Kosten-Nutzen-Aspekt abgewogen werden muss. Auf der einen Seite stehe eine schwierigere Fragebogenkonstruktion, die mehr Items benötigt, sowie das IRT-Auswertungsverfahren, das normative Merkmalsschätzungen erlaubt. „Auf der anderen Seite bietet das MFC-Format wichtige Vorteile, die die Kosten überwiegen können, beispielsweise die Eliminierung von extremen Antwortstilen sowie die Verringerung von absichtlichen Verfälschungen.“ so Wetzel.