Hvad betyder repræsentativ?

Generelt henviser udtrykket repræsentativ til noget, der nøjagtigt afspejler eller svarer til en større gruppe eller helhed. I markedsundersøgelser henviser vi til stikprøvens repræsentativitet. En repræsentativ stikprøve har til formål at afspejle karakteristika for den valgte population. I denne sammenhæng betyder en population en defineret gruppe af mennesker, der deler et sæt af lignende karakteristika (f.eks. demografi, køn eller andre variabler som nuværende hundeejere). Ideen er, at stikprøven skal give gyldige slutninger om den større gruppe.

Derfor siger vi, at en stikprøve er repræsentativ, hvis resultaterne fra analysen af stikprøven også kan betragtes som sande for hele den tilsvarende population.

Hvis man analyserer denne definition af repræsentativitet, vil man bemærke, at der ikke er nogen repræsentativitet som sådan. Betegnelsen repræsentant kræver altid et “for”, f.eks.

• repræsentativ for den generelle befolkning (også kaldet national repræsentativ)
• repræsentativ for den generelle befolkning mellem 18 og 65 år
• repræsentativ for internetbefolkningen mellem 18 og 65 år

Statistikere hævder, at kun tilfældige stikprøver kan være repræsentative. Ifølge deres logik kan kvoteprøver ikke være repræsentative, fordi det er umuligt at kende de rigtige kvoter. før gennemføre en repræsentativ undersøgelse. Men det er et meget teoretisk argument. I praksis har forskerne stor viden om, hvordan variablerne er fordelt i deres målgrupper, og kan sætte kvoterne derefter. Desuden giver folketællingsdata fra de nationale statistiske kontorer forskerne mulighed for at validere og justere deres modeller løbende.

Samtidig bliver det sværere at udtage en perfekt tilfældig stikprøve. Telefoniske eller personlige interviews skal f.eks. håndtere en voksende andel af mennesker, der nægter at deltage i forskningsprojekter. Så selv disse metoder har deres begrænsninger. Når alt kommer til alt, er tilfældige stikprøveteknikker meget dyrere, og for mange forskningsspørgsmål giver de ikke megen merværdi sammenlignet med kvotestikprøver.

Er online forskning partisk?

Der er fire trin, der skal tages, før en gruppe mennesker fra den generelle befolkning kan efterlade deres svar i en datafil. Det følgende afsnit vil analysere disse fire trin og understrege de tilsvarende begrænsninger for repræsentativitet.

Skævhed i dækningen

Hvis man vil vurdere repræsentativiteten for den generelle befolkning, bør man begynde med at se på internetpenetrationen. I Europa bruger gennemsnitligt 84% af befolkningen internettet dagligt. Især i Vest- og Nordeuropa er internetpenetrationen betydeligt højere, med fremragende værdier i Norge, Danmark og Holland (hver 96%). I disse lande går online-undersøgelser glip af mindre end 5% af den samlede befolkning.

Selvfølgelig er den samlede internetpenetration kun relevant, hvis man ønsker at drage konklusioner, der er repræsentative for den generelle befolkning. I mange tilfælde skal resultaterne dog bare være repræsentative for onlinepopulationen, især når forskningsemnet handler om e-handel, onlineannoncering eller lignende emner. I dette tilfælde behøver du ikke bekymre dig om at gå glip af de såkaldte “nonliners”.

Og hvem er disse nonlinere egentlig? Tidligere har den online befolkning været betydeligt yngre, bedre uddannet og mere interesseret i teknologi. Disse forskelle er forsvundet i løbet af de seneste år og fortsætter med at forsvinde, efterhånden som den samlede internetudbredelse stiger. Især fremkomsten af mobil internetbrug har fået mindre uddannede og ældre mennesker til at bruge internettet.

Alt i alt, er dækningsbiasen kun relevant, hvis man ønsker at drage konklusioner for den generelle befolkning. og ikke kun den online befolkning. I dette tilfælde bør du prøve at finde ud af, om dit forskningsemne er korreleret med uddannelse eller teknisk affinitet for at imødegå den mulige bias. Desværre er der ikke noget, du som forsker kan gøre ved det. Hvis du virkelig bekymrer dig om datakvaliteten, skal du vælge en anden metode til dataindsamling. Men skævheden i dækningen er ikke et stort problem for de fleste emner og i de fleste lande, og heldigvis er den endda faldende.

Bias i udvælgelsen

Før vi graver dybere ned i panelrekruttering, er vi nødt til at introducere en meget vigtig skelnen. Når du aktivt udvælger og inviterer kvalificerede panelmedlemmer, har du fuld kontrol over, hvem der deltager i panelet. Det er det, vi kalder aktiv rekruttering. Når du derimod giver folk mulighed for selv at abonnere på panelet, har du ikke kontrol over, hvem der tilmelder sig panelet. Det er det, vi kalder åben rekruttering.

De fleste paneler arbejder med åben rekruttering, fordi det er en meget omkostningseffektiv og ukompliceret måde at udvide et panel på. Men der er en klar ulempe ved det. Først og fremmest vil du primært tiltrække folk, der har en egeninteresse i at deltage i undersøgelser, og disse er ikke repræsentative for den generelle befolkning. For det andet er det næsten umuligt at holde folk ude af et panel, som ikke opfylder de krævede demografiske kriterier eller på anden måde ikke lever op til dine kvalitetsstandarder.

Hos Norstat tror vi på kvaliteten af aktiv rekruttering og har derfor ikke en offentlig tilmeldingsside til vores paneler. I lande, hvor vi har callcentre, udvælger vi tilfældigt folk fra den generelle befolkning og inviterer dem til at deltage i vores paneler over telefonen. Det gør vores paneler så repræsentative som muligt. I alle andre lande bruger vi en meget bred blanding af rekrutteringskanaler for at undgå, at en enkelt kilde kan have stor indflydelse på den samlede kvalitet. Registranter fra disse kilder bliver sendt til en skjult abonnementsside, som kan lukkes ned når som helst. Faktisk sker det, hver gang vi identificerer kvalitetsproblemer eller svigagtig adfærd fra en bestemt rekrutteringskilde. Endelig kan vi booste enhver demografisk gruppe med målrettet rekruttering, hvis vi føler, at panelstrukturen ikke er afbalanceret.

Kort sagt, hvis paneludbydere inviterer de forkerte mennesker til at deltage i deres paneler eller overser en bestemt målgruppe, er panelet ikke repræsentativt. Alle anstrengelserne i denne fase er måske ikke synlige for mange købere, men de gør bestemt forskellen mellem et researchpanel af høj kvalitet og en ikke-repræsentativ mailingliste. Derfor bør du altid sammenligne paneludbydere ud fra, hvordan de rekrutterer til deres paneler. Og forresten er vores tilmeldingsformularer 100% mobilvenlige for at sikre, at vi ikke udelukker mobilbrugere fra at deltage i vores panel. Du vil blive overrasket over, hvor mange paneler det endnu ikke er en standard for. Vi vender tilbage til dette emne senere.

Ikke-respons skævhed

Lad os nu antage, at vi har et repræsentativt onlinepanel. Hvis vi trak en tilfældig stikprøve af panelmedlemmer, ville denne stikprøve også være repræsentativ. Desværre er det ikke alle medlemmer, der klikker på linket i invitationsmailen. Nogle grupper ville reagere meget hurtigt, andre ville tage længere tid, og nogle ville næsten ikke reagere overhovedet. I slutningen af feltperioden ville datasættet ikke være repræsentativt for målpopulationen, selvom det ville have været en perfekt tilfældig stikprøve i begyndelsen.

Non-response er et alvorligt problem – ikke kun for onlineforskning, men for alle dataindsamlingsmetoder. Det er interessant, at især onlinepaneler opnår tilfredsstillende svarprocenter, fordi deres medlemmer forventer at modtage invitationer til undersøgelser regelmæssigt. Desuden har de med tiden lært, at de kan stole på paneludbyderen med hensyn til privatlivets fred og databeskyttelse. Det er nok den største forskel i forhold til telefoninterviewere, som ringer uopfordret. I online-undersøgelser kan du desuden blot forlænge feltperioden og sende påmindelser for at øge svarprocenten.

For at undgå skæve fordelinger i dine endelige data, bør du sætte kvoter. Det kan enten være bløde kvoter (hvilket betyder, at projektlederen vil forsøge at opnå den ønskede fordeling efter bedste evne) eller hårde kvoter (hvilket betyder, at respondenterne ikke vil være i stand til at gennemføre interviewet, når du har indsamlet nok feedback i denne målgruppe). Et tredje alternativ er at arbejde med vægtningsfaktorer for at justere for over- eller underrepræsenterede undergrupper.

Alt i alt kan kan non-response bias forvrænge dine resultater dramatisk.. Heldigvis opnår Norstat svarprocenter over gennemsnittet på grund af vores strenge fokus på vores medlemmers motivation.

Udelukkelsesbias

Sidst, men ikke mindst, er vi nødt til at tale om mobile enheder. Hvis din undersøgelsesskabelon ikke tillader mobilbrugere at besvare dit spørgeskema, vil du systematisk gå glip af en stor del af befolkningen. Afhængigt af landet bruger omkring to tredjedele af befolkningen ofte internettet med en smartphone, tablet eller computer. At udelukke dem fra en undersøgelse kan derfor have en massiv indvirkning på den overordnede kvalitet af din undersøgelse.

Bemærk, at man meget ofte glemmer udelukkelsesbias, når man taler om repræsentativitet, især hvis man ikke tager datakvaliteten alvorligt i de foregående trin. Hvis abonnementssiden i dit panel ikke er mobilvenlig, udelukker du systematisk mobilbrugere på et tidligere tidspunkt. Og hvis du ikke bruger responsive e-mailskabeloner eller en mobilapp, når du inviterer dine panelmedlemmer, kan svarprocenten blive lavere, fordi du også går glip af mobilbrugere.

For at gøre det kort, hvis du stræber efter repræsentative resultater, skal du sørge for, at din undersøgelse er egnet til alle enheder. Hos Norstat har vi mange års erfaring med at designe spørgeskemaer, og vi vil med glæde skrive dit spørgeskema på den bedst mulige måde og til alle enheder..

Konklusionen

Så hvor repræsentativ er online research? Vi mener, at det kan være meget repræsentativt, så længe man ikke går på kompromis med kvaliteten. Hos Norstat gør vi vores bedste for at levere den præmie, vores kunder forventer af os. Og vi forsøger at være så transparente som muligt i denne proces, for vi har ikke noget at skjule.

Men du kan også se, at der er mange ting, der kan gå galt, når man laver online research med paneler. Det betyder ikke, at andre metoder har flere fordele, deres udfordringer er bare anderledes. Under alle omstændigheder kræver online research professionel omhu for at skabe pålidelige og repræsentative resultater.

Du er velkommen til at skrive til os, hvis du vil vide mere om vores kvalitetsstandarder. Vi glæder os til at høre fra dig!