Digitale Technologien haben neue Datenquellen für die Messung des menschlichen Verhaltens erschlossen. Diese reichen von Tracking-Methoden auf individueller Ebene bis hin zu Netzwerkanalysen von Social-Media-Daten. Die methodischen, konzeptionellen und auch ethisch-moralischen Herausforderungen, die sich für Forschende bei der Arbeit mit diesen neuartigen Datenquellen ergeben, stellte Professor Jürgen Pfeffer, Inhaber des Lehrstuhls für Computational Social Science an der Technischen Universität München bei einer LIfBi Lecture vor. In den Mittelpunkt stellte er dabei seine Leitfrage „Is this sample good enough?“

In seiner LIfBi Lecture stellte Jürgen Pfeffer zunächst einige seiner eigenen Studien vor, die unter anderem Daten aus sozialen Netzwerken und Tracking-Tools nutzen. So präsentierte er den Aufbau eines Datensatzes, der erstmalig die komplette Aktivität auf Twitter/x über einen Zeitraum von 24 Stunden abbildet und die Daten von mehr als 375 Millionen Tweets für die Wissenschaftscommunity verfügbar macht. Auch der erfolgreiche Versuch, den Twitter-Algorithmus gezielt zu manipulieren, veranschaulichte das Potenzial und die Risiken dieser neuen Datenwelten.

Pfeffer wies darauf hin, dass solche Daten zwar neue Perspektiven auf menschliche Handlungen, Interaktionen und kollektive Haltungen eröffnen können. Sie bringen jedoch auch erhebliche methodische und konzeptionelle Herausforderungen mit sich, da die Datenerstellung und ‑verarbeitung häufig intransparent ist. Unbekannte Veränderungen der Daten und Algorithmen, Verfälschung der Daten durch technologische Artefakte sowie Veränderungen des Nutzendenverhaltens durch die Interaktion mit der Technologie können die Ergebnisse und Erkenntnisse verzerren und Bedenken hinsichtlich der Zuverlässigkeit aufkommen lassen.

Eindrucksvoll zeigte Pfeffer anhand von ChatGPT, wie problematisch es sein kann, wenn Nutzende nicht wissen, wie die Technik im Hintergrund funktioniert. Am Beispiel der Beurteilung moralisch-ethischer Fragestellungen zeigt sich, dass verschiedene Modelle der KI-Software verschiedene Antworten generieren. Pfeffer sieht hier die konkrete Gefahr, dass intransparent programmierte Chat-Bots wie ChatGPT dem moralischen Urteilsvermögen seiner Nutzenden eher schaden als es zu verbessern.

Bezüglich seiner Leitfrage kam Pfeffer zu einem eindeutigen Fazit: So reizvoll die scheinbar unendlichen Datenmengen, die Forschenden zur Verfügung stehen, auch sind – ihre Qualität lässt sich kaum beurteilen. Ihre Herkunft ist oft unklar, Verfälschungen sind nicht erkennbar und die Gefahr gezielter Manipulation ist immer gegeben. Die Forschung mit qualitativ gesicherten Stichproben und Methoden bleibt für Pfeffer deshalb unersetzlich und die Nutzung von neuartigen Datenquellen fordert die ständige kritische Auseinandersetzung mit ihren „black boxes“.

Im Rahmen seines Aufenthalts stand Jürgen Pfeffer den Forschenden des LIfBi auch für einen individuellen Austausch zur Verfügung. Mitarbeitende verschiedener Arbeitsbereiche nahmen das Angebot an und führten mit dem TUM-Forscher zum Beispiel Gespräche zur Qualität von Online-Erhebungen, zu den Möglichkeiten der Nutzung von Daten aus Karrierenetzwerken oder zu methodischen Fragestellungen.