Wat betekent representatief?

Over het algemeen verwijst het begrip ‘representatief’ naar iets dat een nauwkeurig weerspiegelt of overeenkomt met een grotere groep of geheel. In marktonderzoek hebben we het over representativiteit van de steekproef. Een representatieve steekproef is bedoeld om de kenmerken van de vastgestelde populatie te weerspiegelen. In deze context verwijst een populatie naar een gedefinieerde groep mensen die een set vergelijkbare kenmerken delen (bijvoorbeeld demografische gegevens, geslacht, of andere variabelen zoals huidige hondeneigenaars). Het idee is dat de steekproef geldige conclusies moet kunnen trekken over de grotere groep.

Daarom zeggen we dat een steekproef representatief is als de resultaten van de analyse van de steekproef ook geldig zijn voor de gehele overeenkomstige populatie.

Als je deze definitie van representativiteit analyseert, zul je merken dat er geen representativiteit als zodanig is. Het begrip representatief vereist altijd een “voor”, bijvoorbeeld

• representatief voor de algemene bevolking (ook wel nationaal representatief genoemd)
• representatief voor de algemene bevolking tussen 18 en 65 jaar
• representatief voor de internetpopulatie tussen 18 en 65 jaar

Statistici stellen dat alleen willekeurige steekproeven representatief kunnen zijn. Volgens hun logica kunnen quota-steekproeven niet representatief zijn omdat het onmogelijk is om de juiste quota te kennen. voor het uitvoeren van een representatieve studie. Dit is echter een zeer theoretisch argument. In de praktijk hebben onderzoekers veel kennis over hoe variabelen verdeeld zijn onder hun doelgroepen en kunnen ze de quota dienovereenkomstig instellen. Daarnaast stellen volkstellinggegevens van nationale statistische bureaus onderzoekers in staat om hun modellen voortdurend te valideren en aan te passen.

Tegelijkertijd wordt het steeds moeilijker om een perfect willekeurige steekproef te trekken. Telefonische of persoonlijke interviews hebben bijvoorbeeld te maken met een groeiend aantal mensen dat weigert deel te nemen aan onderzoeksprojecten. Dus zelfs deze methoden hebben hun beperkingen. Uiteindelijk zijn willekeurige steekproeftechnieken veel duurder en bieden ze voor veel onderzoeksvragen weinig toegevoegde waarde in vergelijking met quota-steekproeven.

Is online onderzoek bevooroordeeld?

Voordat een groep mensen uit de algemene bevolking hun antwoorden in een databestand kunnen achterlaten, moeten vier stappen worden genomen. Het volgende gedeelte zal deze vier stappen analyseren en de bijbehorende beperkingen voor representativiteit benadrukken.

Dekkingsvooroordeel

Als je de representativiteit voor de algemene bevolking wilt beoordelen, moet je beginnen met te kijken naar de internetpenetratie. In Europa gebruikt gemiddeld 84% van de mensen dagelijks internet. Vooral in West- en Noord-Europa is de internetpenetratie aanzienlijk hoger, met uitstekende waarden in Noorwegen, Denemarken en Nederland (elk 96%). In deze landen mist online onderzoek minder dan 5% van de totale bevolking.

Natuurlijk is de totale internetpenetratie alleen relevant als je conclusies wilt trekken die representatief zijn voor de algemene bevolking. In veel gevallen moeten de resultaten echter alleen representatief zijn voor de online populatie, vooral wanneer het onderzoeksthema gaat over e-commerce, online advertenties of vergelijkbare onderwerpen. In dit geval hoef je je geen zorgen te maken als je de zogenaamde “nonliners” mist.

En wie zijn deze nonliners precies? In het verleden was de online populatie aanzienlijk jonger, hoger opgeleid en meer geïnteresseerd in technologie. Deze verschillen zijn de afgelopen jaren verdwenen en blijven verdwijnen, naarmate de algehele internetpenetratie toeneemt. Met name de opkomst van mobiel internetgebruik heeft ervoor gezorgd dat minder goed opgeleide en oudere mensen het internet zijn gaan gebruiken.

Al met al, de dekkingsbias alleen relevant als je conclusies wilt trekken voor de algemene bevolking. en niet alleen de online populatie. In dat geval moet je proberen uit te vinden of jouw onderzoeksonderwerp gecorreleerd is aan opleiding of technische affiniteit om mogelijke bias aan te pakken. Helaas is er als onderzoeker niets wat je eraan kunt doen. Als je je echt zorgen maakt over de kwaliteit van de data, moet je een andere methode van dataverzameling kiezen. Echter, de dekkingsbias is voor de meeste onderwerpen en in de meeste landen niet echt een groot probleem en gelukkig zelfs afnemend.

Selectievooroordeel

Voordat we dieper ingaan op paneelwerving, moeten we een zeer belangrijk onderscheid introduceren. Wanneer je actief selecteert en in aanmerking komende paneelleden uitnodigt, heb je volledige controle over wie er bij het panel komt. Dit noemen we actieve werving. Wanneer je mensen daarentegen zelf toelaat om zich in te schrijven in het panel, heb je geen controle over wie er lid wordt van het panel. Dit noemen we open werving.

De meeste panels werken met open werving, omdat het een zeer kosteneffectieve en ongecompliceerde manier is om een panel te laten groeien. Echter, er is een duidelijk nadeel aan verbonden. Allereerst trek je voornamelijk mensen aan die zelf belang hebben bij het invullen van enquêtes, en deze zijn niet representatief voor de algemene bevolking. Ten tweede is het bijna onmogelijk om mensen buiten te houden die niet voldoen aan de vereiste demografische kenmerken of op andere manieren niet voldoen aan je kwaliteitsnormen.

Bij Norstat geloven we in de kwaliteit van actieve werving en daarom hebben we geen openbare registratiepagina voor onze panels. In landen waar we callcenters hebben, selecteren we willekeurig mensen uit de algemene bevolking en nodigen hen telefonisch uit om deel te nemen aan onze panels. Dit maakt onze panels zo representatief mogelijk. In alle andere landen gebruiken we een zeer brede mix van wervingskanalen om te voorkomen dat één enkele bron een grote invloed heeft op de algehele kwaliteit. Inschrijvers van deze bronnen worden doorverwezen naar een verborgen inschrijvingspagina die op elk moment kan worden uitgeschakeld. In feite gebeurt dit telkens wanneer we kwaliteitsproblemen of frauduleus gedrag identificeren dat afkomstig is van een specifieke wervingsbron. Tot slot kunnen we elke demografische groep stimuleren met gerichte werving, als we het gevoel hebben dat de panelstructuur niet evenwichtig is.

In een notendop, als panelleveranciers de verkeerde mensen uitnodigen om deel te nemen aan hun panels of een specifieke doelgroep missen, is het panel niet representatief. Alle inspanningen in dit stadium zijn misschien niet zichtbaar voor veel kopers, maar ze maken zeker het verschil tussen een hoogwaardig onderzoekspanel en een niet-representatieve mailinglijst. Daarom moet je panelleveranciers altijd vergelijken op basis van hoe zij hun panels werven. En trouwens, onze registratieformulieren zijn 100% mobielvriendelijk om ervoor te zorgen dat we mobiele gebruikers niet uitsluiten van deelname aan ons panel. Je zou verbaasd zijn over hoe vaak dit nog geen standaard is bij veel panels. We komen later op dit onderwerp terug.

Vertekening door non-respons

Laten we aannemen dat we nu een representatief online panel hebben. Als we een willekeurige steekproef van panelleden zouden trekken, zou deze steekproef ook representatief zijn. Helaas klikten niet alle leden op de link in de uitnodigingsmail. Sommige groepen zouden heel snel reageren, andere zouden meer tijd nodig hebben en weer andere zouden nauwelijks reageren. Aan het einde van de veldperiode zou de dataset niet representatief zijn voor de doelpopulatie, hoewel het aan het begin een perfecte willekeurige steekproef was.

Non-respons is een serieus probleem – niet alleen voor online onderzoek, maar voor alle methoden van dataverzameling. Interessant genoeg bereiken vooral online panels bevredigende responspercentages , omdat hun leden regelmatig enquête-uitnodigingen verwachten te ontvangen. Daarnaast hebben ze in de loop der tijd geleerd dat ze de panelprovider kunnen vertrouwen wat betreft privacy en gegevensbescherming. Dit is waarschijnlijk het grootste verschil met de telefooninterviews, die ongevraagd zijn. Bovendien zou je bij online onderzoek eenvoudig de duur van de veldperiode kunnen verlengen en herinneringen kunnen sturen om de respons te verhogen.

Om scheve verdelingen in je uiteindelijke data te voorkomen, moet je quota instellen. Dit kunnen zowel zachte quota zijn (wat betekent dat de projectmanager zal proberen de gewenste verdeling naar beste vermogen te bereiken) als harde quota (wat betekent dat respondenten de enquête niet kunnen voltooien zodra er voldoende feedback is verzameld in deze doelgroep). Een derde alternatief is werken met weegfactoren om over- of ondervertegenwoordigde subgroepen aan te passen.

Al met al kan de kan de non-respons vertekening jouw resultaten dramatisch verstoren.. Gelukkig behaalt Norstat responspercentages die boven het gemiddelde liggen dankzij onze rigoureuze focus op de motivatie van onze leden.

Uitsluitingsbias

Tot slot moeten we ook nog praten over mobiele apparaten. Als je enquêtesjabloon mobiele gebruikers niet toelaat om je vragenlijst te beantwoorden, mis je systematisch een groot deel van de populatie. Afhankelijk van het land gebruikt ongeveer twee derde van de bevolking regelmatig het internet met een smartphone, tablet of computer. Hen uitsluiten van een enquête kan dus een enorme impact hebben op de algemene kwaliteit van je onderzoek.

Houd er rekening mee dat de uitsluitingsbias heel vaak wordt vergeten als je het hebt over representativiteit, vooral als je de kwaliteit van de data in de vorige stappen niet serieus neemt. Als de inschrijfpagina van je panel niet mobielvriendelijk is, sluit je mobiele gebruikers systematisch uit in een eerder stadium. Als je geen responsieve e-mailtemplates of een mobiele app gebruikt bij het uitnodigen van je panelleden, kan het responspercentage lager zijn, omdat je ook mobiele gebruikers misloopt.

Kort gezegd, als je streeft naar representatieve resultaten, moet je ervoor zorgen dat je enquête geschikt is voor alle apparaten.. Bij Norstat hebben we jarenlange ervaring met het ontwerpen van vragenlijsten en we helpen je graag om je enquête op de best mogelijke manier te scripten, geschikt voor alle apparaten..

De conclusie

Dus hoe representatief is online onderzoek? Wij geloven dat het heel representatief kan zijn, zolang je niet inlevert op kwaliteit. Bij Norstat doen we ons uiterste best om de topkwaliteit te leveren die onze klanten van ons verwachten. En we streven ernaar zo transparant mogelijk te zijn in dit proces, omdat we niets te verbergen hebben.

Maar je ziet ook dat er veel mis kan gaan bij online onderzoek met panels. Dit betekent niet dat andere methoden meer voordelen hebben; hun uitdagingen zijn gewoon anders. Hoe dan ook, online onderzoek vereist professionele zorg om betrouwbare en representatieve resultaten te genereren.

Stuur ons gerust een berichtje als je meer wilt weten over onze kwaliteitsnormen. We horen graag van je!