Testung der Fragenqualität und -äquivalenz

Eine Herausforderung des European Social Survey (ESS) besteht darin, die Vergleichbarkeit der Originalfragen bei der Übersetzung aus dem Englischen in die verschiedenen europäischen Sprachen zu gewährleisten. Mit Hilfe des Survey Quality Predictor’s (SQP) wird anhand einer Betrachtung der Fragestruktur und der Bewertung von formalen Charakteristika der Frage die Fragenqualität überprüft und sichergestellt.

Anwendung findet das SQP Coding an zwei verschiedenen Punkten während der Feldvorbereitung: Zunächst im Rahmen des Fragebogendesigns und danach während des Übersetzungsprozesses. Im Zuge des Fragebogendesigns wird mithilfe des SQP Codings die Qualität ausgewählter Fragen der Rotationsmodule prognostiziert und überprüft. Gegebenenfalls werden Verbesserungen in der Fragenformulierung vorgeschlagen und implementiert. Während des Übersetzungsprozesses wird mithilfe des SQP Codings die Äquivalenz von ausgewählten Originalfragen mit entsprechenden Übersetzungen anhand formaler Charakteristika (z.B. Präsenz sozialer Erwünschtheit, Fragewort, Antwortmöglichkeit, Silbenanzahl der Frage und der Antwortmöglichkeiten, Position im Fragebogen, etc.) überprüft und dient so auch einer Qualitätskontrolle der Übersetzung in die verschiedenen Sprachen. Durch einen Vergleich der Originalfrage mit der übersetzten Version sollen Abweichungen sowohl in der formalen als auch in der sprachlichen  Struktur der Frage entdeckt und korrigiert werden, umso Qualitätsunterschieden in den Ergebnissen zwischen den einzelnen Ländern entgegenzuwirken. 

Informationen zur Anwendung des Survey Quality Predictor’s im Rahmen des European Social Survey (ESS) finden Sie hier

 

Testfragen im ESS

Der Fragebogen des European Social Survey (ESS) wird jede Welle durch einige Testfragen mit dem Ziel ergänzt,  die Qualität der Fragen kontinuierlich zu überprüfen und zu verbessern. Zusammen mit dem Hauptfragebogen ermöglichen diese Testfragen die Kontrolle und Schätzung sowohl der Validität (Gültigkeit) als auch der Reliabilität (Zuverlässigkeit) ausgewählter Frageitems.

Sinn und Zweck der Testfragen ist es, alternative Formulierungen und Herangehensweisen bereits vorhandener Frageitems zu prüfen oder auch verschiedene Fragekonzepte für zukünftige Erhebungen zu testen. So wurden in den Wellen 2 bis 7 pro Welle zwischen 40 (Welle 2) und 18 (Welle 7) Fragevariationen getestet. Variiert wurden dabei sowohl die Formulierungen der Einleitungs- und Fragetexte als auch bei der Gestaltung der Antwortskalen.

Einen ersten Überblick der getesteten Fragen in den einzelnen Wellen können Sie sich anhand der folgenden Tabellen verschaffen. Eine vollständige und ausführliche Darstellung der Gegenüberstellung von Testfragen und Originalfragen steht zum Download bereit. Weitere Informationen erhalten Sie auch auf der internationalen Webseite des European Social Survey. In der ersten ESS-Welle gab es keine Testfragen.

 

2. Welle (2004/2005)   3. Welle (2006/2007)   4. Welle (2008/2009)
5. Welle (2010/2011)   6. Welle (2012/2013)   7. Welle (2014/2015)
8. Welle (2016/2017)

 

Gesamttabelle (.xlsx) als Download

 

Übersicht 8. Welle 2016/2017
WelleVariableFrageVariablenlabelgetestete Änderung
ESS 8 TESTGC33 C33 Zuwanderer: Schul- und Berufsausbildung Einleitungstext, Fragetext, Antwortskala
ESS 8 TESTGC34 C34 Zuwanderer: christliche Herkunft Einleitungstext, Fragetext, Antwortskala
ESS 8 TESTGC35 C35 Zuwanderer: berufliche Fähigkeiten Einleitungstext, Fragetext, Antwortskala
ESS 8 TESTGC36 C36 Zuwanderer: Schul- und Berufsausbildung Einleitungstext, Fragetext, Antwortskala
ESS 8 TESTGC37 C37 Zuwanderer: christliche Herkunft Einleitungstext, Fragetext, Antwortskala
ESS 8 TESTGC38 C38 Zuwanderer: berufliche Fähigkeiten Einleitungstext, Fragetext, Antwortskala
ESS 8 TESTGC39 C39 Zuwanderer: Schul- und Berufsausbildung Einleitungstext, Antwortskala
ESS 8 TESTGC40 C40 Zuwanderer: christliche Herkunft Einleitungstext, Antwortskala
ESS 8 TESTGC41 C41 Zuwanderer: berufliche Fähigkeiten Einleitungstext, Antwortskala

 

Übersicht 7. Welle 2014/2015
WelleVariableFrageVariablenlabelgetestete Änderung
ESS 7 PSPPSGV B1A Politisches System erlaubt eine Mitsprachemöglichkeit bei dem,
was die Regierung tut
Einleitungstext, Antwortskala
ESS 7 ACTROLG B1B Sich fähig fühlen, eine aktive Rolle
in einer politischen Gruppe zu übernehmen
Antwortskala
ESS 7 PSPPIPL B1C Politisches System erlaubt es Menschen, die Politik zu beeinflussen Antwortskala
ESS 7 CPTPPOL B1D Vertrauen in eigene Fähigkeiten, sich politisch zu beteiligen Fragetext, Antwortskala
ESS 7 PTCPPLT B1E Politiker achten darauf, was Leute denken Antwortskala
ESS 7 ETAPAPL B1F Wie leicht, sich am politischen Geschehen zu beteiligen Fragetext, Antwortskala
ESS 7 QFIMLNG D2 Zuwanderer: Deutsch sprechen Einleitungstext, Fragetext, Antwortskala
ESS 7 QFIMWHT D4 Zuwanderer: weiße Hautfarbe Fragetext, Antwortskala
ESS 7 QFIMCMT D6 Zuwanderer: Bereitschaft die Lebensweise in Deutschland anzunehmen Fragetext, Antwortskala

 

Übersicht 6. Welle 2012/2013

WelleVariableFrageVariablenlabelgetestete Änderung
ESS 6 IMBGECO B32 Zuwanderung ist gut / ist schlecht
für die Wirtschaft in Deutschland
Einleitungstext, Antwortskala
ESS 6 IMUECLT B33 Das kulturelle Leben in
Deutschland wird untergraben /
wird bereichert
Antwortskala
ESS 6 IMWBCNT B34 Zuwanderer machen Deutschland zu einem besseren / einem schlechteren Ort zum Leben Antwortskala
ESS 6 FLTDPR D5 Wohlbefinden: deprimiert / niedergeschlagen gefühlt Einleitungstext, Fragetext, Antwortskala
ESS 6 SLPRL D7 Wohlbefinden: unruhig geschlafen Einleitungstext, Fragetext, Antwortskala
ESS 6 FLTLNL D9 Wohlbefinden: einsam gefühlt Einleitungstext, Fragetext, Antwortskala
ESS 6 TMIMDNG D31 Interessiert sein, an dem was
man tut
Einleitungstext, Fragetext, Antwortskala
ESS 6 TMABDNG D32 Vertieft sein, in das was man tut Einleitungstext, Fragetext, Antwortskala
ESS 6 TMENDNG D33 Etwas voller Begeisterung tun Einleitungstext, Fragetext, Antwortskala
ESS 6 OPPCRGV E4 Wichtigkeit: Recht der Oppositionspartei, Kritik an Regierung zu üben Einleitungstext, Fragetext, Antwortskala
ESS 6 MEDCRGV E5 Wichtigkeit: Recht der Medien,
Kritik an Regierung zu üben
Einleitungstext, Fragetext, Antwortskala
ESS 6 MEPRINF E6

Wichtigkeit: Verlässliche Informationen durch die Medien
zur Urteilsbildung über die Regierung

Einleitungstext, Fragetext, Antwortskala

 

Übersicht 5. Welle 2010/2011

WelleVariableFrageVariablenlabelgetestete Änderung
ESS 5 TVTOT A1 Fernsehen: Zeit insgesamt an einem gewöhnlichen Werktag Einleitungstext, Fragetext, Antwortskala
ESS 5 TVPOL A2 Fernsehen: Nachrichten, Politik, aktuelle politische Ereignisse an einem gewöhnlichen Werktag Antwortskala
ESS 5 RDTOT A3 Radio: Zeit insgesamt an einem gewöhnlichen Werktag Fragetext, Antwortskala
ESS 5 RDPOL A4 Radio: Nachrichten, Politik, aktuelle politische Ereignisse an einem gewöhnlichen Werktag Antwortskala
ESS 5 NWSPTOT A5 Zeitung: Zeit insgesamt an einem gewöhnlichen Werktag Fragetext, Antwortskala
ESS 5 NWSPPOL A6 Zeitung: Nachrichten, Politik, aktuelle politische Ereignisse an einem gewöhnlichen Werktag Antwortskala
ESS 5 PLCPVCR D12 Erfolg der Polizei, Straftaten zu verhindern Einleitungstext, Antwortskala
ESS 5 PLCCBRG D13 Erfolg der Polizei, Einbrecher zu fassen Antwortskala
ESS 5 PLCARCR D14 Polizei: Eintreffen der Einsatzkräfte am Tatort Antwortskala
ESS 5 PLCRSPC D15 Respektvoller Umgang der Polizei mit den Bürgern Antwortskala
ESS 5 PLCFRDC D16 faire und unparteiische Entscheidungen durch die Polizei Fragetext, Antwortskala
ESS 5 PLCEXDC D17 Polizei: Erklären der Entscheidungen und des Handelns Antwortskala
ESS 5 FLSIN5Y D43

persönliches Verhalten: Versicherungsbetrug

Einleitungstext, Fragetext, Antwortskala
ESS 5 BSTLN5Y D44 persönliches Verhalten: Kauf von vermeintlichem Diebesgut Einleitungstext, Fragetext, Antwortskala
ESS 5 TROFF5Y D45 persönliches Verhalten: Verkehrsdelikt Einleitungstext, Fragetext, Antwortskala
ESS 5 neu neu Politisches System ermöglicht
eine Mitsprachemöglichkeit bei dem, was die Regierung tut
neu
ESS 5 neu neu Sich zutrauen, eine aktive Rolle in einer politischen Gruppe zu übernehmen neu
ESS 5 neu neu Politisches System ermöglicht es Menschen, die Politik zu beeinflussen neu
ESS 5 neu neu Überzeugt von eigenen Fähigkeiten, sich politisch zu beteiligen neu
ESS 5 neu neu Fernsehen über das Internet:
Zeit insgesamt an einem gewöhnlichen Werktag
neu
ESS 5 neu neu Radio über das Internet: Zeit insgesamt an einem gewöhnlichen Werktag neu
ESS 5 neu neu Online-Zeitung: Zeit insgesamt
an einem gewöhnlichen Werktag
neu
ESS 5 neu neu Nutzung Internet (ohne Fernsehen, Radio, Online-Zeitung): Zeit insgesamt an einem gewöhnlichen Werktag neu
ESS 5 neu neu Internet: Nachrichten, Politik, aktuelle politische Ereignisse an einem gewöhnlichen Werktag neu

 

Übersicht 4. Welle 2008/2009

WelleVariableFrageVariablenlabelgetestete Änderung
ESS 4 TVTOT A1 Fernsehen: Zeit insgesamt an einem gewöhnlichen Werktag Antwortskala
ESS 4 RDTOT A3 Radio: Zeit insgesamt an einem gewöhnlichen Werktag Antwortskala
ESS 4 NWSPTOT A5 Zeitung: Zeit insgesamt an einem gewöhnlichen Werktag Antwortskala
ESS 4 PPLTRST A8 Man kann nicht vorsichtig genug sein / den meisten Menschen vertrauen Fragetext, Antwortskala
ESS 4 PPLFAIR A9 Die meisten Menschen versuchen, mich auszunutzen / sich fair zu verhalten  
ESS 4 TRSTPRL B4 Vertrauen in den deutschen Bundestag Einleitungstext, Fragetext, Antwortskala
ESS 4 TRSTLGL B5

Vertrauen ins Rechtssystem

Einleitungstext, Fragetext, Antwortskala
ESS 4 TRSTPLC B6 Vertrauen in die Polizei Einleitungstext, Fragetext, Antwortskala
ESS 4 LRSCALE B23 Selbsteinstufung im politischen Links-Rechts-Spektrum Antwortskala
ESS 4 STFECO B25 Zufriedenheit mit der Wirtschaftslage in Deutschland Einleitungstext, Fragetext, Antwortskala
ESS 4 STFGOV B26 Zufriedenheit mit der Regierung Fragetext, Antwortskala
ESS 4 STFDEM B27 Zufriedenheit mit der Demokratie
in Deutschland
Fragetext, Antwortskala
ESS 4 GINCDIF B30 Der Staat sollte Maßnahmen ergreifen, um Einkommensunterschiede zu verringern Einleitungstext, Fragetext, Antwortskala
ESS 4 FREEHMS B31 Schwule und Lesben sollten ihr Leben so führen dürfen, wie sie
es wollen
Fragetext, Antwortskala
ESS 4 neu neu Die meisten / wenigsten Menschen haben mein Vertrauen verdient. neu
ESS 4 neu neu Der Staat sollte sicherstellen /
nicht sicherstellen, dass alle gesellschaftlichen Gruppen gleich behandelt werden.
neu
ESS 4 neu neu Rechts-Links-Einstufung der am meisten bevorzugten Partei neu
ESS 4 neu neu Rechts-Links-Einstufung der am wenigsten bevorzugten Partei neu
ESS 4 neu neu Der Staat sollte sicherstellen,
dass alle gesellschaftlichen Gruppen gleich behandelt werden.
neu

 

Übersicht 3. Welle 2006/2007

WelleVariableFrageVariablenlabelgetestete Änderung
ESS 3 IMSMETN B35 Zustimmung zur Zuwanderung
von Mitgliedern derselben Volksgruppe / ethnischen Gruppe wie die Mehrheit in Deutschland
Einleitungstext, Fragetext, Antwortskala
ESS 3 IMDFETN B36 Zustimmung zur Zuwanderung
von Mitgliedern anderer Volksgruppen / ethnischer Gruppen als der Mehrheit in Deutschland
Fragetext, Antwortskala
ESS 3 IMPCNTR B37 Zustimmung zur Zuwanderung
aus ärmeren außereuropäischen Ländern nach Deutschland
Fragetext, Antwortskala
ESS 3 IMBGECO B38 Zuwanderung ist gut / ist schlecht
für die Wirtschaft in Deutschland
Einleitungstext, Fragetext, Antwortskala
ESS 3 IMUECLT B39 Das kulturelle Leben in
Deutschland wird untergraben /
wird bereichert
Fragetext, Antwortskala
ESS 3 IMWBCNT B40 Zuwanderer machen Deutschland zu einem besseren / einem schlechteren Ort zum Leben Fragetext, Antwortskala
ESS 3 LRNNEW E26 Zustimmung / Ablehnung: Ich lerne sehr gerne neue Dinge. Einleitungstext, Antwortskala
ESS 3 ACCDNG E27 Zustimmung / Ablehnung:
Meistens finde ich Erfüllung in
dem, was ich tue
Antwortskala
ESS 3 PLPRFTR E28 Zustimmung / Ablehnung: Ich mache gerne Zukunftspläne und treffe Vorkehrungen für die Zukunft Antwortskala
ESS 3 DNGVAL E40 Zustimmung / Ablehnung:
Gefühl, dass das, was ich in meinem Leben mache, wertvoll
und nützlich für Andere ist
Einleitungstext, Antwortskala
ESS 3 PPLLFCR E43 Zustimmung / Ablehnung: In meinem Leben gibt es Menschen, für die ich wirklich wichtig bin Antwortskala
ESS 3 FLCLPLA E45 Zustimmung / Ablehnung: Ich fühle mich den Menschen in meiner Wohngegend verbunden Antwortskala

 

Übersicht 2. Welle 2004/2005

WelleVariableFrageVariablenlabelgetestete Änderung
ESS 2 TRSTPRL B4 Vertrauen in den deutschen Bundestag keine
ESS 2 TRSTLGL B5 Vertrauen ins Rechtssystem keine
ESS 2 TRSTPLC B7 Vertrauen in die Politiker keine
ESS 2 STFECO B25 Zufriedenheit mit der Wirtschaftslage in Deutschland Antwortskala
ESS 2 STFGOV B26 Zufriedenheit mit der Regierung Antwortskala
ESS 2 STFDEM B27 Zufriedenheit mit der Demokratie
in Deutschland
Antwortskala
ESS 2 DCKPTRT D25 Ärzte verschweigen ihren Patienten die volle Wahrheit. Einleitungstext, Fragetext, Antwortskala
ESS 2 DCTREQL D26 Hausärzte behandeln ihre Patienten als gleichberechtigte Partner. Fragetext, Antwortskala
ESS 2 DCDISC D27 Bevor Ärzte sich für eine
Behandlung entscheiden, diskutieren sie mit ihrem Patienten darüber.
Fragetext, Antwortskala
ESS 2 PDWRK F8c bezahlte Tätigkeit Einleitungstext, Fragetext, Antwortskala
ESS 2 EMPLREL F12 Hauptberuf / bezahlte Tätigkeit Einleitungstext, Fragetext, Antwortskala
ESS 2 LVGHW F63 Zusammenleben mit Ehemann/Ehefrau Fragetext
ESS 2 LVGPTN F65 Zusammenleben mit Partner/Partnerin Fragetext
ESS 2 WMCPWRK G6 Zustimmung / Ablehnung:
Eine Frau sollte dazu bereit sein, ihre Erwerbstätigkeit zu Gunsten ihrer Familie zu reduzieren.
Einleitungstext, Fragetext, Antwortskala
ESS 2 MNRSPHM G7 Zustimmung / Ablehnung:
Männer sollten genau so viel Verantwortung für Haushalt und Kinder übernehmen wie Frauen.
Fragetext, Antwortskala
ESS 2 MNRGTJB G8 Zustimmung / Ablehnung: Wenn Arbeitsplätze knapp sind, sollten Männer mehr Recht auf einen Arbeitsplatz haben als Frauen. Fragetext, Antwortskala
ESS 2 HWKTWD1 G22 Zeit insgesamt an einem typischen Werktag für Hausarbeit: alle Personen keine
ESS 2 HWKPWD1 G23 Zeit insgesamt an einem typischen Werktag für Hausarbeit: nur Befragter Fragetext, Antwortskala
ESS 2 HWKPWDP G24 Zeit insgesamt an einem typischen Werktag für Hausarbeit: nur Partner/Partnerin bzw. Mann/Frau Fragetext, Antwortskala
ESS 2 VRTYWRK G64 Meine Arbeit ist sehr abwechslungsreich. Einleitungstext, Fragetext, Antwortskala
ESS 2 JBSCR G66 Mein Arbeitsplatz ist sicher. Fragetext, Antwortskala
ESS 2 HLTHRWK G70 Meine Gesundheit oder meine Sicherheit werden durch meine Arbeit gefährdet. Fragetext, Antwortskala

 

In der 1. Welle 2002/2003 gab es keine Testfragen.

+ Aktuelles

Pre-announcement: Call for Question Design Teams

ESS ERIC is pleased to pre-announce the call for multi-national teams of researchers to submit applications for modules of questions to be fielded as part of Round 10 of the European Social Survey (ESS). The call for Round 10 QDTs will open by mid-October 2017.

Please visit our international web page for further infortmation.


Mehr >>>

ESS News-Feed   

RSS-Feed

ESS Twitter   

@EssDeutschland

ESS Facebook   

Facebook


(Für ältere Tweets bitte scrollen.)