Was bedeutet “repräsentativ”?

Im Allgemeinen bezieht sich der Begriff “repräsentativ” auf etwas, das eine größere Gruppe oder ein Ganzes wiederspielgelt. In der Marktforschung sprechen wir von der Repräsentativität der Stichprobe. Eine repräsentative Stichprobe soll die Merkmale der beschlossenen Grundgesamtheit widerspiegeln. In diesem Zusammenhang ist eine Population eine definierte Gruppe von Personen mit ähnlichen Merkmalen (z. B. demografische Merkmale, Geschlecht oder andere Variablen wie aktuelle Hundebesitzer). Der Grundgedanke ist, dass die Stichprobe gültige Rückschlüsse auf die Gesamtgruppe zulassen sollte.

Deshalb sagen wir, dass eine Stichprobe repräsentativ ist, wenn die Ergebnisse der Analyse der Stichprobe auch für die gesamte entsprechende Grundgesamtheit gelten können.

Wenn Sie diese Definition der Repräsentativität analysieren, werden Sie feststellen, dass es keine Repräsentativität als solche gibt. Der Begriff Vertreter erfordert immer ein “für”, z. B.

• repräsentativ für die Gesamtbevölkerung (auch als national repräsentativ bezeichnet)
• repräsentativ für die allgemeine Bevölkerung zwischen 18 und 65 Jahren
• repräsentativ für die Internetbevölkerung zwischen 18 und 65 Jahren

Statistiker behaupten, dass nur Zufallsstichproben repräsentativ sein können. Nach ihrer Logik können Quotenstichproben nicht repräsentativ sein, weil es unmöglich ist, die richtigen Quoten zu kennen. vor Durchführung einer repräsentativen Studie. Dies ist jedoch ein sehr theoretisches Argument. In der Praxis wissen die Forscher sehr viel darüber, wie die Variablen auf ihre Zielgruppen verteilt sind, und können die Quoten entsprechend festlegen. Darüber hinaus ermöglichen die Volkszählungsdaten der nationalen statistischen Ämter den Forschern eine kontinuierliche Validierung und Anpassung ihrer Modelle.

Gleichzeitig wird es immer schwieriger, eine perfekte Zufallsstichprobe zu ziehen. Bei telefonischen oder persönlichen Befragungen muss beispielsweise mit einem wachsenden Anteil von Personen gerechnet werden, die sich weigern, an Forschungsprojekten teilzunehmen. Auch diese Methoden haben also ihre Grenzen. Letztendlich sind Zufallsstichprobenverfahren viel teurer und bieten bei vielen Forschungsfragen nur einen geringen Mehrwert gegenüber Quotenstichproben.

Ist die Online-Recherche voreingenommen?

Bevor eine Gruppe von Personen aus der Allgemeinbevölkerung ihre Antworten in einer Datei hinterlassen kann, müssen vier Schritte unternommen werden. Im folgenden Abschnitt werden diese vier Schritte analysiert und die entsprechenden Einschränkungen für die Repräsentativität hervorgehoben.

Verzerrung der Berichterstattung

Wenn Sie die Repräsentativität für die Allgemeinbevölkerung beurteilen wollen, sollten Sie sich zunächst die Internet-Verbreitung ansehen. In Europa nutzen durchschnittlich 84 % der Menschen täglich das Internet. Vor allem in West- und Nordeuropa ist die Internetverbreitung deutlich höher, mit hervorragenden Werten in Norwegen, Dänemark und den Niederlanden (jeweils 96 %). In diesen Ländern werden bei der Online-Recherche weniger als 5 % der Gesamtbevölkerung erfasst.

Natürlich ist die Gesamtverbreitung des Internets nur dann relevant, wenn man Schlussfolgerungen ziehen will, die für die Allgemeinbevölkerung repräsentativ sind. In vielen Fällen müssen die Ergebnisse jedoch einfach nur repräsentativ für die Online-Bevölkerung sein, vor allem, wenn das Forschungsthema den elektronischen Handel, Online-Werbung oder ähnliche Themen betrifft. In diesem Fall müssen Sie sich keine Sorgen machen, dass Sie die so genannten “Nonliner” verpassen.

Und wer genau sind diese Nonliner? In der Vergangenheit war die Online-Bevölkerung deutlich jünger, besser ausgebildet und technikaffiner. Diese Unterschiede haben sich in den letzten Jahren aufgelöst und verschwinden weiter, da die allgemeine Internetverbreitung zunimmt. Insbesondere das Aufkommen der mobilen Internetnutzung hat dazu geführt, dass weniger gebildete und ältere Menschen das Internet nutzen.

Alles in allem, ist der Erfassungsfehler nur relevant, wenn man Schlussfolgerungen für die allgemeine Bevölkerung ziehen will und nicht nur die Online-Bevölkerung. In diesem Fall sollten Sie versuchen herauszufinden, ob Ihr Forschungsthema mit der Ausbildung oder der technischen Affinität zusammenhängt, um die mögliche Verzerrung zu beseitigen. Leider können Sie als Forscher nichts dagegen tun. Wenn Sie sich wirklich Sorgen um die Datenqualität machen, müssen Sie eine andere Methode der Datenerhebung wählen. Allerdings ist die Verzerrung der Berichterstattung bei den meisten Themen und in den meisten Ländern kein allzu großes Problem und zum Glück sogar rückläufig.

Selektionsverzerrung

Bevor wir uns näher mit der Rekrutierung von Panels befassen, müssen wir eine sehr wichtige Unterscheidung treffen. Wenn Sie aktiv geeignete Panelmitglieder auswählen und einladen, haben Sie die perfekte Kontrolle darüber, wer dem Panel beitritt. Dies nennen wir aktive Anwerbung. Wenn Sie hingegen zulassen, dass sich Personen selbst für das Panel anmelden, haben Sie keine Kontrolle darüber, wer dem Panel beitritt. Das nennen wir offene Rekrutierung.

Die meisten Panels arbeiten mit offener Rekrutierung, da dies eine sehr kosteneffiziente und unkomplizierte Art ist, ein Panel aufzubauen. Es gibt jedoch auch eine klare Kehrseite der Medaille. Zunächst einmal werden Sie hauptsächlich Personen ansprechen, die ein Eigeninteresse an der Teilnahme an Umfragen haben, und diese sind nicht repräsentativ für die allgemeine Bevölkerung. Zweitens ist es nahezu unmöglich, Personen aus einem Panel auszuschließen, die nicht den geforderten demografischen Merkmalen entsprechen oder in anderer Weise nicht Ihren Qualitätsstandards genügen.

Bei Norstat glauben wir an die Qualität der aktiven Rekrutierung und haben daher keine öffentliche Registrierungsseite für unsere Panels. In den Ländern, in denen wir Callcenter haben, wählen wir zufällig Personen aus der Bevölkerung aus und laden sie telefonisch ein, an unseren Panels teilzunehmen. Dies macht unsere Panels so repräsentativ wie möglich. In allen anderen Ländern nutzen wir eine sehr breite Mischung von Rekrutierungskanälen, um zu vermeiden, dass eine einzelne Quelle einen großen Einfluss auf die Gesamtqualität haben kann. Registranten aus diesen Quellen werden auf eine versteckte Abonnement-Seite geleitet, die jederzeit abgeschaltet werden kann. Dies geschieht jedes Mal, wenn wir Qualitätsprobleme oder betrügerisches Verhalten bei einer bestimmten Einstellungsquelle feststellen. Schließlich können wir jede demografische Gruppe durch gezielte Anwerbung aufwerten, wenn wir das Gefühl haben, dass die Panelstruktur nicht ausgewogen ist.

Kurz gesagt: Wenn Panelanbieter die falschen Personen in ihre Panels einladen oder eine bestimmte Zielgruppe auslassen, ist das Panel nicht repräsentativ. Alle Bemühungen in dieser Phase mögen für viele Käufer nicht sichtbar sein, aber sie machen definitiv den Unterschied zwischen einem qualitativ hochwertigen Forschungspanel und einer nicht repräsentativen Mailingliste aus. Daher sollten Sie Panel-Anbieter immer danach vergleichen, wie sie in ihren Panels rekrutieren. Übrigens sind unsere Anmeldeformulare zu 100 % mobilfreundlich, um sicherzustellen, dass wir mobile Nutzer nicht von der Teilnahme an unserem Panel ausschließen. Sie würden sich wundern, in wie vielen Gremien dies noch nicht Standard ist. Wir werden später noch einmal auf dieses Thema zurückkommen.

Verzerrung durch Nichtbeantwortung

Nehmen wir an, wir haben jetzt ein repräsentatives Online-Panel. Würden wir eine Zufallsstichprobe aus den Panelmitgliedern ziehen, wäre diese ebenfalls repräsentativ. Leider würden nicht alle Mitglieder auf den Link in der Einladungs-E-Mail klicken. Einige Gruppen reagierten sehr schnell, andere brauchten mehr Zeit und wieder andere reagierten kaum. Am Ende des Feldzeitraums wäre der Datensatz nicht repräsentativ für die Zielpopulation, obwohl er zu Beginn eine perfekte Zufallsstichprobe gewesen wäre.

Antwortausfälle sind ein ernstes Problem – nicht nur bei der Online-Forschung, sondern bei allen Methoden der Datenerhebung. Interessanterweise erzielen vor allem Online-Panels zufriedenstellende Rücklaufquoten, weil ihre Mitglieder erwarten, regelmäßig Einladungen zu Umfragen zu erhalten. Außerdem haben sie im Laufe der Zeit gelernt, dass sie dem Panelanbieter in Bezug auf Privatsphäre und Datenschutz vertrauen können. Dies ist wahrscheinlich der größte Unterschied zu den Anrufen der Telefoninterviewer, die unaufgefordert erfolgen. Darüber hinaus können Sie bei der Online-Forschung einfach die Dauer des Feldzeitraums verlängern und Erinnerungsschreiben versenden, um die Antwortquote zu erhöhen.

Um schiefe Verteilungen in Ihren endgültigen Daten zu vermeiden, sollten Sie Quoten festlegen. Dabei kann es sich entweder um weiche Quoten handeln (d. h. der Projektleiter versucht, die gewünschte Verteilung nach bestem Wissen und Gewissen zu erreichen) oder um harte Quoten (d. h. die Befragten sind nicht in der Lage, die Befragung abzuschließen, sobald Sie genügend Feedback in dieser Zielgruppe gesammelt haben). Eine dritte Alternative ist die Arbeit mit Gewichtungsfaktoren, um über- oder unterrepräsentierte Untergruppen auszugleichen.

Alles in allem kann die Non-Response-Bias kann Ihre Ergebnisse dramatisch verzerren. Glücklicherweise erreicht Norstat überdurchschnittlich hohe Rücklaufquoten, da wir uns konsequent auf die Motivation unserer Mitglieder konzentrieren.

Voreingenommenheit durch Ausschluss

Nicht zuletzt müssen wir auch über mobile Geräte sprechen. Wenn Ihre Umfragevorlage die Beantwortung Ihres Fragebogens durch mobile Nutzer nicht zulässt, entgeht Ihnen systematisch ein großer Teil der Bevölkerung. Je nach Land nutzen etwa zwei Drittel der Bevölkerung das Internet häufig mit einem Smartphone, Tablet oder Computer. Sie von einer Umfrage auszuschließen, kann daher massive Auswirkungen auf die Gesamtqualität Ihrer Studie haben.

Bitte beachten Sie, dass die Ausschlussverzerrung sehr oft vergessen wird, wenn es um Repräsentativität geht, insbesondere wenn Sie sich in den vorherigen Schritten nicht ernsthaft um die Datenqualität kümmern. Wenn die Anmeldeseite Ihres Panels nicht mobilfreundlich ist, schließen Sie mobile Nutzer systematisch in einem früheren Stadium aus. Und wenn Sie bei der Einladung Ihrer Panelteilnehmer keine responsiven E-Mail-Vorlagen oder eine mobile App verwenden, kann die Antwortquote geringer ausfallen, da Sie auch die mobilen Nutzer nicht erreichen.

Um es kurz zu machen: Wenn Sie repräsentative Ergebnisse anstreben, sollten Sie dafür sorgen, dass Ihre Umfrage für alle Geräte geeignet ist. Wir bei Norstat haben langjährige Erfahrung in der Gestaltung von Fragebögen und stellen Ihnen gerne ein Skript für Ihre Umfrage zur Verfügung, das für alle Geräte geeignet ist..

Die Schlussfolgerung

Wie repräsentativ ist also die Online-Recherche? Wir glauben, dass dies sehr repräsentativ sein kann, solange man keine Kompromisse bei der Qualität eingeht. Wir bei Norstat geben unser Bestes, um die Qualität zu liefern, die unsere Kunden von uns erwarten. Und wir versuchen, in diesem Prozess so transparent wie möglich zu sein, denn wir haben nichts zu verbergen.

Sie sehen aber auch, dass bei der Online-Recherche mit Panels eine Menge schief gehen kann. Das bedeutet nicht, dass andere Methoden mehr Vorteile haben, die Herausforderungen sind nur anders. In jedem Fall erfordert die Online-Recherche professionelle Sorgfalt, um zuverlässige und repräsentative Ergebnisse zu erzielen.

Wenn Sie mehr über unsere Qualitätsstandards erfahren möchten, schreiben Sie uns einfach eine E-Mail. Wir freuen uns darauf, von Ihnen zu hören!