12 Surveys erstellen

Einführung in die quantitativen Forschungsmethoden

Hausarbeit

Format

  • 6 ECTS: 7-12 Seiten
  • Aufbau:
    • Fragestellung und theoretische Motivation (ca 1-3 Seiten)
    • Operationalisierung und Herangehensweise (inkl. deskriptive Beschreibung der Variablen) (ca 1-3 Seiten)
    • Analyse & Interpretation (eine Analyse) (ca 3-5 Seiten)
    • Schlussfolgerung (ca 1 Seite)
  • Code als separates .r File mitabgeben (nicht im Text)

Beispiel

  • Fragestellung: Unterscheidet sich der Einfluss von Alter auf Einstellungen zum Klimawandel in verschiedenen europäischen Ländern?
    • Motivation: Diskussion über Generationenkonflikt, aber auch unterschiedliche Zeitleisten wann Klimawandel relevant wird
  • Operationalisierung
    • welche Variablen werden genutzt (persönliches Verantwortungsgefühl, unabhängige Variablen)
    • welche Analyse wird genutzt
  • Analyse: Regressionsanalyse mit Interaktion
    • Interpretation: Wie unterscheidet sich der Einfluss von Alter auf Verantwortung nach Land
  • Schlussfolgerung
    • Zusammenfassung der Ergebnisse
    • Ausblick: Was bedeutet das für politische Mobilisierung zu Klimathemen?

Beispiel: Operationalisierung

  • Beschreibung der Variablen (abhängige und unabhängige)
    • Fragestellung
    • Antwortmöglichkeiten
    • Verteilung

Beispiel: Operationalisierung

z.B.: unabhängige Variable ccrdprs

ggplot(ess8,
       aes(x=ccrdprs))+
  geom_histogram()

Analyse

reg <- lm(ccrdprs~agea*cntry+lrscale+polintr,data=ess8)
summary(reg)

Call:
lm(formula = ccrdprs ~ agea * cntry + lrscale + polintr, data = ess8)

Residuals:
   Min     1Q Median     3Q    Max 
-8.214 -1.465  0.301  1.707  7.367 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
(Intercept)   7.990388   0.187457  42.625  < 2e-16 ***
agea         -0.012100   0.003431  -3.527 0.000421 ***
cntryBE       0.209222   0.244444   0.856 0.392053    
cntryCH       0.329184   0.256887   1.281 0.200049    
cntryCZ      -2.569597   0.247428 -10.385  < 2e-16 ***
cntryDE       0.256088   0.224567   1.140 0.254143    
cntryEE      -0.909749   0.246830  -3.686 0.000228 ***
cntryES       0.497766   0.255918   1.945 0.051780 .  
cntryFI       0.646849   0.244390   2.647 0.008130 ** 
cntryFR       1.364998   0.247088   5.524 3.33e-08 ***
cntryGB      -0.282643   0.253424  -1.115 0.264732    
cntryHU      -0.880545   0.276201  -3.188 0.001434 ** 
cntryIE       0.214286   0.243011   0.882 0.377893    
cntryIL      -0.546731   0.231578  -2.361 0.018236 *  
cntryIS      -0.127541   0.307419  -0.415 0.678234    
cntryIT      -0.209516   0.248998  -0.841 0.400110    
cntryLT      -1.231392   0.286292  -4.301 1.70e-05 ***
cntryNL      -0.301482   0.257968  -1.169 0.242541    
cntryNO       0.121487   0.251262   0.484 0.628738    
cntryPL      -0.496049   0.263241  -1.884 0.059520 .  
cntryPT       1.120173   0.287840   3.892 9.97e-05 ***
cntryRU      -2.027999   0.263275  -7.703 1.36e-14 ***
cntrySE       0.712807   0.262017   2.720 0.006522 ** 
cntrySI       0.375962   0.282584   1.330 0.183380    
lrscale      -0.068339   0.005921 -11.541  < 2e-16 ***
polintr      -0.429544   0.015195 -28.269  < 2e-16 ***
agea:cntryBE -0.003415   0.004728  -0.722 0.470110    
agea:cntryCH  0.009834   0.004932   1.994 0.046172 *  
agea:cntryCZ  0.004678   0.004821   0.970 0.331877    
agea:cntryDE  0.002971   0.004291   0.692 0.488806    
agea:cntryEE -0.012613   0.004706  -2.680 0.007359 ** 
agea:cntryES -0.008831   0.004905  -1.800 0.071797 .  
agea:cntryFI -0.001731   0.004618  -0.375 0.707837    
agea:cntryFR -0.005870   0.004587  -1.280 0.200622    
agea:cntryGB  0.004007   0.004721   0.849 0.396016    
agea:cntryHU -0.007581   0.005126  -1.479 0.139179    
agea:cntryIE -0.008042   0.004566  -1.761 0.078176 .  
agea:cntryIL -0.003827   0.004470  -0.856 0.391856    
agea:cntryIS  0.005590   0.005889   0.949 0.342529    
agea:cntryIT -0.001953   0.004755  -0.411 0.681325    
agea:cntryLT  0.007540   0.005323   1.416 0.156662    
agea:cntryNL  0.002525   0.004817   0.524 0.600184    
agea:cntryNO  0.002557   0.004866   0.525 0.599282    
agea:cntryPL  0.005700   0.005140   1.109 0.267466    
agea:cntryPT -0.024644   0.005365  -4.594 4.37e-06 ***
agea:cntryRU -0.002015   0.005158  -0.391 0.695999    
agea:cntrySE -0.005175   0.004857  -1.066 0.286608    
agea:cntrySI -0.017060   0.005379  -3.172 0.001516 ** 
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 2.475 on 36641 degrees of freedom
  (7698 Beobachtungen als fehlend gelöscht)
Multiple R-squared:  0.1499,    Adjusted R-squared:  0.1488 
F-statistic: 137.5 on 47 and 36641 DF,  p-value: < 2.2e-16

Analyse

ggplot(ess8,aes(x=agea,y=ccrdprs))+
  geom_smooth()+
  facet_wrap(~cntry)

Abgabe

  • Abgabemöglichkeit 1: 24.8.
  • Abgabemöglichkeit 2: 24.9.

→ Feedback jeweils innerhalb von 2-3 Wochen

Erstellung von Fragebögen

Frageformulierung

Pew Video


→ Welche Probleme werden im Video genannt?

Kosmos möglicher Fragen

  • Denken Sie darüber nach welche Informationen Befragte überhaupt geben können
    • Tourangeau, Rips, and Rasinski (2000): Art der Information & zeitliche Distanz beeinflussen Erinnerung

Frageformulierung

  • einfache Sprache
    • z.B.: kurze Fragen, keine doppelten Negationen, keine hypothetischen Situationen, …
  • eindeutige Formulierungen & klare Definitionen
  • keine tendenziösen Fragen (→ soziale Erwünschtheit)
  • erschöpfende & ausschließliche Antwortoptionen
  • Auseinandersetzung mit Antwortprozess
    • Tourangeau, Rips, and Rasinski (2000): comprehension → retrieval → judgement → reporting

Antwortoptionen

  • Die angebotenen Optionen können die Antwort beeinflussen
    • z.B. Tourangeau, Rips, and Rasinski (2000), S. 248

Antwortreihenfolge

  • Die Reihenfolge der Optionen macht einen Unterschied
    • z.B. Schuman, Presser, and Ludwig (1981) und Stark et al. (2020) zu Abtreibung

→ Zustimmung zu Abtreibung, wenn Frauen keine Kinder mehr wollen sinkt um bis zu 20%, je nach Position der Option

Fragenreihenfolge

  • einmal angesprochene Themen bleiben präsent
  • Aufmerksamkeit sinkt im Laufe des Interviews

Übung

Überlegen Sie sich eine Frage, die Sie zu Ihrem Forschungsthema gerne stellen würden. Entwerfen Sie die Frage möglichst komplett, inklusive der Antwortmöglichkeiten.

Diskutieren Sie Ihre Fragen gemeinsam. Können Sie die Frage verbessern?

Herausforderungen bei der Erhebung & Nutzung von Umfragedaten

Sinkende Teilnahmezahlen

Quelle: Analyse von Carsten Schwemmer

Sinkende Teilnahmezahlen

  • sinkende Teilnahmezahlen sind generell ein Problem
    • Kosten & Dauer von Umfragen
    • Repräsentativität der Antwortenden
  • sinkende Teilnahmezahlen sind besonders problematisch, wenn es Unterschiede in der Teilnahme zwischen Gruppen gibt

Limitationen von Survey-Designs

  • Kritik an Datenqualität
    • z.B. soziale Erwünschtheit & acquiescence
    • z.B. ‘satisficing’ & mangelnder Fokus der Antwortenden
    • z.B. stated vs. revealed preferences
  • potenziell gravierender in Online-Umfragen

Neue Chancen

  • neue Verwendungen von Surveys
    • z.B. Fragetechniken
    • z.B. ‘Survey Experimente’, die unterschiedliche Frageformulierungen verwenden
    • z.B. interrupted survey designs (Muñoz, Falcó-Gimeno, and Hernández 2020): Vergleich von Umfrageergebnissen vor und nach einem Ereignis
  • hochqualitative repräsentative Umfragen, die frei zugänglich sind

Weitere Umfragen

Weitere Umfragen

Über die ESS hinaus gibt es weitere regelmäßige Umfragen, deren Daten Forschende (inkl. Studierende) unkompliziert und ohne Kosten nutzen können

→ Möglichkeiten für Ihr weiteres Studium

Allbus

  • ‘Allgemeine Bevölkerungsumfrage der Sozialwissenschaften’
  • seit 1980 (GESIS)
  • alle zwei Jahre
  • ca. 3.000 Befragte aus Deutschland
  • Befragung zu allgemein sozialwissenschaftlichen Themen (Arbeit, Demographie, Kultur, Politik…)
  • Datenzugang

Politbarometer

  • monatliche Umfragen (ZDF)
  • seit 1977 (Westdeutschland) / 1990
  • Meinungen zu Parteien, Politiker:innen, aktuellen Ereignissen… → orientiert an Aktualität
  • teilweise Wechsel in der Frageformulierung
  • Datenzugang

Sozio-Ökonomisches Panel (SOEP)

  • auch bekannt als “Leben in Deutschland”
  • seit 1984 (Deutsches Institut für Wirtschaftsforschung)
  • Langzeitstudie, jährliche Befragung gesamter Haushalte (ab 16. Lebensjahr), Panel (d.h. gleichbleibende Teilnehmende)
  • ca. 30.000 Befragte aus 15.000 Haushalten,
  • Befragung zu sozialer und ökonomischer Situation der Haushaltsmitglieder
  • Datenzugang - im Vergleich relativ schwer zugänglich

German Longitudinal Election Study (GLES)

  • seit 2009
  • Betreiber: gesis-Leibniz-Institut für Sozialwissenschaften & Deutsche Gesellschaft für Wahlforschung
  • Erhebung von Daten zu politischen Einstellungen und Verhaltensweisen vor und nach Bundestagswahlen
    • teilweise Panel Daten (gleichbleibende Teilnehmende)
    • zusätzliche Studien mit Kandidierenden
  • Datenzugang

Eurobarometer

  • seit 1974
  • zwei Mal jährlich (Europäische Kommission)
  • ca. 1000 Befragte pro EU-Staat (Ausnahme Luxemburg)
  • Befragung zu allen Themen aus Lebensbereich der EU-Bürger:innen
  • EP und andere EU Institutionen haben eigene, “spezielle Eurobarometer”
  • Datenzugang

European Values Study (EVS)

  • seit 1981
  • Umfrage zu Werten rund um Leben, Familie, Arbeit, Religion, Politik und Gesellschaft (250 Fragen)
  • bisher 4 Wellen: 1981, 1990, 1999, 2008
  • 2008 in 47 europäischen Länder, ca. 1.500 Befragte pro Land
  • 2017-2020 gemeinsame Umfrage mit World Values Survey
  • Datenzugang

World Values Survey (WVS)

  • seit 1981, inspiriert vom EVS

  • 290 Fragen zu verschiedenen Werten und Einstellungen weltweit

  • letzte von 7 Wellen: 2017-2022

  • ca. 1200 Befragte pro Land

  • Datenzugang

Andere Arten von Daten

Natürlich lassen sich statistische Methoden auch auf andere Arten von Daten anwenden!

  • amtliche Daten
    • z.B. Bevölkerungsstatistik, Wirtschaftsdaten, …
  • Umfragedaten
    • Befragungen zu verschiedenen Themen durch Umfrageinstitute
  • Rohdaten
    • z.B. Pressemitteilungen, social media posts, Wahlplakate, …
  • Tracking Daten
    • z.B. Konsumdaten, digital trace data, social media Daten

Nächste Woche

Von Umfragedaten zur Bevölkerung

  • Semesterabschluss
  • offene Fragen
  • Umfragen als Stichprobe
  • substanzielle und statistische Signifikanz

Weitere Fragen?

Quellen

T. Gessler | Einführung quantitative Forschungsmethoden | 12 Surveys erstellen

Muñoz, Jordi, Albert Falcó-Gimeno, and Enrique Hernández. 2020. “Unexpected Event During Survey Design: Promise and Pitfalls for Causal Inference.” Political Analysis 28 (2): 186–206. https://doi.org/10.1017/pan.2019.27.
Schuman, Howard, Stanley Presser, and Jacob Ludwig. 1981. “Context Effects on Survey Responses to Questions About Abortion.” Public Opinion Quarterly 45 (2): 216–23. https://doi.org/10.1086/268652.
Stark, Tobias H., Henning Silber, Jon A. Krosnick, Annelies G. Blom, Midori Aoyagi, Ana Belchior, Michael Bosnjak, et al. 2020. “Generalization of Classic Question Order Effects Across Cultures.” Sociological Methods & Research 49 (3): 567–602. https://doi.org/10.1177/0049124117747304.
Tourangeau, Roger, Lance J. Rips, and Kenneth Rasinski. 2000. The Psychology of Survey Response. Cambridge: Cambridge University Press. https://doi.org/10.1017/CBO9780511819322.