Was macht eine Umfrage wissenschaftlich?
Umfragen reichen von albern bis ernst und von schlampig bis wissenschaftlich. Gelegentlich machen wir etwas Dummes, wenn ein Kunde darauf besteht (obwohl wir im Allgemeinen davon abraten). Aber wir machen niemals schlampige Umfragen, und wir hoffen, dass Sie sie auch nie machen. Lehnen Sie sich so weit wie möglich an Strenge und Wissenschaft innerhalb angemessener Zeit- und Budgetbeschränkungen.
Aber was bedeutet das? Was macht eine Umfrage wissenschaftlich? Wissenschaftliche Erhebungen werden sorgfältig mit Blick auf Validität, Zuverlässigkeit, Replizierbarkeit und Verallgemeinerbarkeit erstellt. Insbesondere in Bezug auf das Umfragedesign und den Umfrageprozess sind hier fünf Komponenten der Durchführung einer Umfrage aufgeführt, die Sie zum wissenschaftlichen Ende eines Umfragekontinuums führen:
1. Fragebogen-Design. Schreiben Sie Fragen, die direkt, eindeutig, einfach und unvoreingenommen sind. Vermeiden Sie Leitfragen. Stellen Sie sich jede Frage so vor, als würde Sie etwas leidenschaftslos „messen“, anstatt eine Antwort auf eine Frage zu erhalten, die Sie haben.
2. Probenahme. Definieren Sie das „Universum“, das die vollständige Zielgruppe ist, die Sie verstehen möchten. Überlegen Sie dann, wie Sie eine repräsentative Gruppe von ihnen in Ihre Umfrage einbeziehen können. Echte Zufallsstichproben sind selten durchführbar, aber es gibt gute Alternativen, die Sie in Betracht ziehen sollten, solange Sie sorgfältig über die Darstellung nachdenken.
3. Datenerhebung. Legen Sie einen systematischen und sorgfältigen Prozess fest, um Befragte zu finden und sie zu bitten, Ihre Umfrage auszufüllen. Dies ist wichtig, um Vorurteile und Betrug zu vermeiden. Und wenn Sie nicht viele Tage damit verbracht haben, Ihre Strategie festzulegen, führt eine schnelle Datenerfassung wahrscheinlich zu einem unwissenschaftlichen Durcheinander, das Ihre Ergebnisse ungültig macht.
4. Analyse. Treffen Sie theoretische und hypothesenbasierte Entscheidungen darüber, wie Sie selbst die grundlegendsten Statistiken berechnen können, einschließlich Prozentsätze und Mittelwerte. Entscheiden Sie im Voraus, gegen welche Gruppen oder Untergruppen Sie vorgehen sollen. Überlegen Sie, ob Sie Ihre Daten gewichten möchten, um sie an Verzerrungen bei Stichproben oder Datenerhebungen anzupassen.
5. Berichterstattung. Schreiben Sie neutrale Aussagen, die die Geschichte hinter den Daten vermitteln, und geben Sie mehrere Datenpunkte an, um zu veranschaulichen und zu beweisen, dass Ihre Aussagen wahr sind. Sie müssen auch widersprüchliche Datenpunkte anzeigen und abgleichen. Wählen Sie keine Rosinen aus und denken Sie daran, dass „neutrale“ Aussagen nicht langweilig sein müssen – sie müssen nur wahr sein.
Es gibt einige, die argumentieren, dass die Sozialwissenschaften (Politikwissenschaft, Wirtschaft, Soziologie, Psychologie und alles andere) — und damit Umfragen — überhaupt keine „Wissenschaften“ sind. Vielleicht haben sie recht. Aber sicher gibt es einen Unterschied zwischen guten Umfragen, die auf die Ideale von Strenge und Wissenschaft abzielen, und schlechten Umfragen. Bitte schließen Sie sich uns im Streben nach dem Guten an!
Von Joe Hopper, Ph.D.