Wat betekent representatief?

Over het algemeen verwijst de term representatief naar iets dat een accurate weerspiegeling is van of overeenkomt met een grotere groep of geheel. In marktonderzoek hebben we het over representativiteit van de steekproef. Een representatieve steekproef is bedoeld om de kenmerken van de vastgestelde populatie te weerspiegelen. In deze setting betekent een populatie een gedefinieerde groep mensen met een reeks vergelijkbare kenmerken (bijv. demografische gegevens, geslacht of andere variabelen zoals huidige hondenbezitters). Het idee is dat de steekproef geldige conclusies moet trekken over de grotere groep.

Daarom zeggen we dat een steekproef representatief is als de resultaten van de analyse van de steekproef ook als waar kunnen worden beschouwd voor de gehele overeenkomstige populatie.

Als je deze definitie van representativiteit analyseert, zul je merken dat er geen representativiteit als zodanig is. De term vertegenwoordiger vereist altijd een “want”, bijv.

• representatief voor de algemene bevolking (ook wel nationaal representatief genoemd)
• representatief voor de algemene bevolking tussen 18 en 65 jaar
• representatief voor de internetpopulatie tussen 18 en 65 jaar

Statistici beweren dat alleen willekeurige steekproeven representatief kunnen zijn. Volgens hun logica kunnen quotasteekproeven niet representatief zijn omdat het onmogelijk is om de juiste quota te kennen. voor het uitvoeren van een representatieve studie. Dit is echter een zeer theoretisch argument. In de praktijk hebben onderzoekers veel kennis over hoe variabelen zijn verdeeld over hun doelgroepen en kunnen ze de quota’s dienovereenkomstig instellen. Bovendien kunnen onderzoekers dankzij de volkstellingsgegevens van de nationale bureaus voor de statistiek hun modellen voortdurend valideren en aanpassen.

Tegelijkertijd wordt het steeds moeilijker om een perfecte aselecte steekproef te trekken. Telefonische of persoonlijke interviews hebben bijvoorbeeld te maken met een groeiend aantal mensen dat weigert deel te nemen aan onderzoeksprojecten. Dus zelfs deze methoden hebben hun beperkingen. Uiteindelijk zijn aselecte steekproeftechnieken veel duurder en bieden ze voor veel onderzoeksvragen weinig meerwaarde in vergelijking met quotastudies.

Is online onderzoek bevooroordeeld?

Er moeten vier stappen worden doorlopen voordat een groep mensen uit de algemene bevolking hun antwoorden kan achterlaten in een databestand. In de volgende paragraaf worden deze vier stappen geanalyseerd en wordt de nadruk gelegd op de bijbehorende beperkingen voor representativiteit.

Dekkingsvooroordeel

Als je de representativiteit voor de algemene bevolking wilt beoordelen, moet je beginnen te kijken naar de internetpenetratie. In Europa gebruikt gemiddeld 84% van de mensen dagelijks internet. Vooral in West- en Noord-Europa is de internetpenetratie aanzienlijk hoger, met zeer hoge waarden in Noorwegen, Denemarken en Nederland (elk 96%). In deze landen mist je met online onderzoek daarom minder dan 5% van de totale bevolking.

Natuurlijk is de algemene internetpenetratie alleen relevant als je conclusies wilt trekken die representatief zijn voor de algemene bevolking. In veel gevallen hoeven de resultaten echter alleen maar representatief te zijn voor de online populatie, vooral als het onderzoeksonderwerp e-commerce, online reclame of vergelijkbare onderwerpen betreft. In dit geval hoef je je geen zorgen te maken als je de zogenaamde “nonliners” mist.

En wie zijn deze nonliners precies? In het verleden was de online populatie aanzienlijk jonger, hoger opgeleid en meer geïnteresseerd in technologie. Deze verschillen zijn de afgelopen jaren verdwenen en zullen blijven verdwijnen naarmate de algehele internetpenetratie toeneemt. Vooral de opkomst van mobiel internet heeft ervoor gezorgd dat lager opgeleide en oudere mensen het internet zijn gaan gebruiken.

Al met al, de dekkingsvertekening is alleen relevant als je conclusies wilt trekken voor de algemene bevolking en niet alleen de online populatie. In dit geval moet je proberen uit te zoeken of je onderzoeksonderwerp gecorreleerd is met opleiding of technische affiniteit om de mogelijke vooringenomenheid aan te pakken. Helaas kun je daar als onderzoeker niets aan doen. Als je je echt zorgen maakt over de kwaliteit van de data, moet je een andere methode van dataverzameling kiezen. Voor de meeste onderwerpen en in de meeste landen is de vooringenomenheid in de berichtgeving echter niet zo’n probleem en gelukkig neemt deze zelfs af.

Selectievooroordeel

Voordat we dieper ingaan op het werven van panels, moeten we een heel belangrijk onderscheid maken. Wanneer je actief panelleden selecteert en uitnodigt, heb je de volledige controle over wie er in het panel komen. Dit noemen we actieve werving. Wanneer je mensen daarentegen zelf toelaat om zich in te schrijven in het panel, heb je geen controle over wie er lid wordt van het panel. Dit noemen we open rekrutering.

De meeste panels werken met open werving, omdat het een zeer kosteneffectieve en ongecompliceerde manier is om een panel te laten groeien. Er is echter een duidelijke keerzijde. Ten eerste zul je vooral mensen aantrekken die een eigenbelang hebben bij het invullen van enquêtes en deze zijn niet representatief voor de algemene bevolking. Ten tweede is het bijna onmogelijk om mensen uit een panel te houden die niet voldoen aan de vereiste demografische gegevens of op een andere manier niet voldoen aan jouw kwaliteitsnormen.

Bij Norstat geloven we in de kwaliteit van actieve werving en daarom hebben we geen openbare registratiepagina voor onze panels. In landen waar we callcenters hebben, selecteren we willekeurig mensen uit de algemene bevolking en nodigen hen telefonisch uit om deel te nemen aan onze panels. Dit maakt onze panels zo representatief mogelijk. In alle andere landen gebruiken we een zeer brede mix van wervingskanalen om te voorkomen dat één enkele bron een grote invloed heeft op de algehele kwaliteit. Registranten van deze bronnen worden naar een verborgen inschrijfpagina geleid die op elk moment kan worden afgesloten. In feite gebeurt dit elke keer als we kwaliteitsproblemen of frauduleus gedrag vaststellen bij een specifieke wervingsbron. Tot slot kunnen we elke demografische groep stimuleren met gerichte werving, als we het gevoel hebben dat de panelstructuur niet evenwichtig is.

Kort gezegd, als panelleveranciers de verkeerde mensen uitnodigen voor hun panels of een specifieke doelgroep over het hoofd zien, dan is het panel niet representatief. Alle inspanningen in dit stadium zijn misschien niet zichtbaar voor veel kopers, maar ze maken zeker het verschil tussen een onderzoekspanel van hoge kwaliteit en een niet-representatieve mailinglijst. Daarom moet u panelaanbieders altijd vergelijken op de manier waarop ze personeel werven voor hun panels. En trouwens, onze registratieformulieren zijn 100% mobielvriendelijk om ervoor te zorgen dat we mobiele gebruikers niet uitsluiten van deelname aan ons panel. Het zou je verbazen hoeveel panelen dit nog geen standaard is. We komen later op dit onderwerp terug.

Vertekening door non-respons

Laten we aannemen dat we nu een representatief online panel hebben. Als we een willekeurige steekproef van panelleden zouden trekken, zou deze steekproef ook representatief zijn. Helaas klikten niet alle leden op de link in de uitnodigingsmail. Sommige groepen zouden heel snel reageren, andere zouden meer tijd nodig hebben en weer andere zouden nauwelijks reageren. Aan het einde van de veldperiode zou de dataset niet representatief zijn voor de doelpopulatie, hoewel het aan het begin een perfect aselecte steekproef zou zijn geweest.

Non-respons is een serieus probleem – niet alleen voor online onderzoek, maar voor alle methoden van dataverzameling. Interessant is dat vooral online panels bevredigende responspercentages halen, omdat hun leden verwachten regelmatig uitnodigingen voor enquêtes te ontvangen. Bovendien hebben ze na verloop van tijd geleerd dat ze de panelaanbieder kunnen vertrouwen met betrekking tot privacy en databescherming. Dit is waarschijnlijk het grootste verschil met de telefooninterviews, die ongevraagd zijn. Bovendien zou je bij online onderzoek eenvoudig de duur van de veldperiode kunnen verlengen en herinneringen kunnen sturen om de respons te verhogen.

Om scheve verdelingen in je uiteindelijke data te voorkomen, moet je quota instellen. Dit kunnen zachte quota’s zijn (wat betekent dat de projectmanager zal proberen om de gewenste verdeling naar best vermogen te bereiken) of harde quota’s (wat betekent dat respondenten niet in staat zullen zijn om het interview af te maken, zodra je genoeg feedback hebt verzameld in deze doelgroep). Een derde alternatief is het werken met wegingsfactoren om over- of ondervertegenwoordigde subgroepen aan te passen.

Al met al kan de kan de non-respons vertekening jouw resultaten dramatisch verstoren.. Gelukkig behaalt Norstat responspercentages die boven het gemiddelde liggen dankzij onze rigoureuze focus op de motivatie van onze leden.

Vooringenomenheid door uitsluiting

Last but not least moeten we het hebben over mobiele apparaten. Als je enquêtesjabloon mobiele gebruikers niet toelaat om je vragenlijst te beantwoorden, mis je systematisch een groot deel van de populatie. Afhankelijk van het land gebruikt ongeveer twee derde van de bevolking regelmatig het internet met een smartphone, tablet of computer. Hen uitsluiten van een enquête kan dus een enorme impact hebben op de algemene kwaliteit van je onderzoek.

Houd er rekening mee dat de uitsluitingsbias heel vaak wordt vergeten als je het hebt over representativiteit, vooral als je de kwaliteit van de data in de vorige stappen niet serieus neemt. Als de inschrijfpagina van je panel niet mobielvriendelijk is, sluit je mobiele gebruikers systematisch uit in een eerder stadium. En als u geen responsieve e-mailsjablonen of een mobiele app gebruikt bij het uitnodigen van jouw panelleden, kan de respons lager uitvallen, omdat u ook mobiele gebruikers mist.

Om het kort te houden, als je streeft naar representatieve resultaten, moet je ervoor zorgen dat je enquête geschikt is voor alle apparaten. Bij Norstat hebben we jarenlange ervaring met het ontwerpen van vragenlijsten en we schrijven jouw enquête graag op de best mogelijke manier en voor alle apparaten..

De conclusie

Dus hoe representatief is online onderzoek? Wij geloven dat het heel representatief kan zijn, zolang je niet inlevert op kwaliteit. Bij Norstat doen we ons uiterste best om de topkwaliteit te leveren die onze klanten van ons verwachten. En we proberen zo transparant mogelijk te zijn in dit proces, want we hebben niets te verbergen.

Maar je ziet ook dat er veel mis kan gaan bij online onderzoek met panels. Dit betekent niet dat andere methoden meer voordelen hebben, hun uitdagingen zijn gewoon anders. Hoe dan ook, online onderzoek vereist professionele zorg om betrouwbare en representatieve resultaten te genereren.

Stuur ons gerust een berichtje als je meer wilt weten over onze kwaliteitsnormen. We horen graag van je!