AI-Enhanced Validation of Survey Instruments: Integrating Semi-Automated Methods in Cognitive Interviews for Children’s Self- and Proxy-Assessments of Health
 

Ziel

Das Projekt zielt darauf ab, die Auswertung von kognitiven Interviews durch die Kombination von menschlicher Expertise mit innovativen KI-basierten Kodierungsmethoden effizienter zu gestalten und damit die Reichweite der Methode zu erweitern. Darüber hinaus leistet das Projekt einen Beitrag zum Verständnis, wie Kinder und Eltern in groß angelegten Studien die Gesundheit von Kindern bewerten. Dazu werden mögliche Unterschiede in den Strategien zur Gesundheitsbeurteilung zwischen den Befragtengruppen untersucht und systematische Variationen nach Alter und Geschlecht aufgezeigt.

 

Hintergrund

Um die Qualität der Umfrageforschung zu gewährleisten, werden Erhebungsinstrumente sowohl mit qualitativen als auch mit quantitativen Methoden validiert. Dabei sind beide Methoden mit Einschränkungen verbunden. Während quantitative Auswertungen aufgrund großer Stichproben effizient verallgemeinerbare Zusammenhänge zwischen verschiedenen Konzepten und systematische Unterschiede zwischen den Befragten aufzeigen können, sind sie nur begrenzt in der Lage, komplexe kognitive Prozesse innerhalb von Individuen zu erfassen.

Im Gegensatz zu quantitativen Methoden bieten qualitative Ansätze wie semi-strukturierte kognitive Interviews tiefere Einblicke in die Denkmuster der Teilnehmer. Die hohen Kosten solcher Studien schränken jedoch häufig die Stichprobengröße und die Skalierbarkeit ein, was die allgemeine Gültigkeit, die Verallgemeinerbarkeit und die Fähigkeit, Unterschiede zwischen Untergruppen zu berücksichtigen, beeinträchtigt.

Die Integration der Stärken beider Methoden kann die Umfrageforschung erheblich verbessern, indem sie ein ganzheitliches Verständnis der Phänomene ermöglicht und gleichzeitig die Vorteile der quantitativen Validierung nutzt. Die Zusammenführung beider Ansätze stellt jedoch eine Herausforderung dar.

Das Projekt AI-SIC leistet einen Beitrag durch die Entwicklung eines KI-basierten Ansatzes zur halbautomatischen Kodierung unter Verwendung eines aktiven Lernansatzes. Dabei werden maschinelle Kodieralgorithmen mit menschlichen Kodierfähigkeiten kombiniert. Darüber hinaus werden neue Methoden zur effizienten und gründlichen Validierung von Befragungsinstrumenten eingesetzt, um Forschungslücken in Bezug auf die bereits etablierte Messung der selbst eingeschätzten Gesundheit zu schließen. Dies wird dazu beitragen, die Lücke zwischen qualitativen und quantitativen Methoden zu schließen und offene Fragen darüber zu beantworten, wie Kinder und ihre Eltern die Gesundheit ihrer Kinder einschätzen.

 

Vorgehen und Methoden

Das Projekt ist in vier inhaltliche Arbeitspakete untergliedert.

Das erste Arbeitspaket „Entwicklung des halbautomatischen Coding Frameworks InTraCo“ (Dr. Andreas Niekler & Stephan Poppe; Universität Leipzig) hat zum Ziel, sprachbasiertes maschinelles Lernen und zuverlässige semi-automatische Kodierverfahren methodisch und technisch in den Werkzeugkasten der computergestützten Sozialwissenschaften zu integrieren. Ziel ist es, maschinelle Kodieralgorithmen und menschliche induktive Kodierfähigkeiten zu kombinieren, um die Effizienz bei der Kodierung umfangreicher qualitativer Interviewdaten zu erhöhen.

Das zweite Arbeitspaket „Einsatz und Bewertung von InTraCo“ (Dr. Andreas Niekler & Stephan Poppe; Universität Leipzig) widmet sich der Anwendung des neu entwickelten Ansatzes sowie dessen Validierung und Anpassung.

Das dritte Arbeitspaket „Erforschung der Selbst- und Fremdeinschätzungsstrategien von Kindern und Eltern“ (Dr. Jacqueline Kroh; LIfBi) nutzt die gewonnenen hochkomplexen Daten und überprüft, ob die neue Methode einen Mehrwert für inhaltsbezogene Auswertungen mittels maschineller Lernverfahren liefern kann. Dadurch soll ein umfassenderes Verständnis darüber gewonnen werden, wie sowohl Kinder als auch Eltern die Gesundheit ihrer Kinder einschätzen.

Das vierte Arbeitspaket „Vergleichbarkeit von Bewertungsstrategien und Ergebnissen zwischen den Selbst- und Fremdeinschätzungen von Kindern und Eltern“ (Prof. Dr. Julia Offenhammer-Tuppat; Universität Leipzig) vertieft die in Arbeitspaket drei gewonnenen Erkenntnisse und untersucht Gemeinsamkeiten und Unterschiede zwischen verschiedenen Befragtengruppen in der Selbsteinschätzung der Kinder und den Proxy-Einschätzungen der Eltern zur Kindergesundheit.

 

Datenerhebung

AI-SIC nutzt qualitative Daten und führt kognitive Interviews auf der Grundlage von webbasierten und realen Face-to-Face-Interviews durch.

 

Projekt-Steckbrief

  • Projektleitung und Antragstellung: Dr. Jacqueline Kroh (LIfBi), Dr. Andreas Niekler (Universität Leipzig), Dr. Stephan Poppe (Universität Leipzig), Prof. Dr. Julia Offenhammer-Tuppat (Universität Leipzig)
  • Projektleitung am LIfBi: Dr. Jacqueline Kroh
  • Projektlaufzeit: 07/2025 - 06/2028
  • Förderung: Deutsche Forschungsgemeinschaft (DFG)
  • Link zu dieser Seite: www.lifbi.de/AISIC
 
Projektpartner
Universität Leipzig