Hvilken utvalgsstørrelse er representativ?

Hva gjør et utvalg representativt?

La oss begynne med en historie som faktisk har blitt grunnleggermyten innen markedsundersøkelser. For et århundre siden begynte det amerikanske tidsskriftet The Literary Digest å gjennomføre meningsmålinger blant sine ti millioner lesere for å forutsi resultatene av presidentvalget. I fem påfølgende valg var spådommene deres helt riktige inntil de mislyktes massivt i 1936, selv om de gjennomførte rundt 2,4 millioner intervjuer blant leserne. Til deres overraskelse var George Gallup i stand til å forutsi resultatet av dette valget riktig med “bare” 50 000 intervjuer.

Så hva skjedde? The Literary Digests utvalg mislyktes, fordi leserne deres ikke var representative for befolkningen generelt. De hadde en annen aldersstruktur, en annen gjennomsnittsinntekt – og tilsynelatende forskjellige politiske preferanser. Gallup skjønte derimot at representativitet ikke først og fremst handler om antall intervjuer, men om å ha riktig sammensetning i utvalget. Han brukte enkle kvoter for å sikre at alle grupper ble korrekt representert i sitt utvalg. Denne banebrytende tilnærmingen la grunnlaget for moderne markeds- og meningsundersøkelser slik vi kjenner dem i dag.

For representativitet er det ikke størrelsen på utvalget som er avgjørende, men hvordan det er sammensatt. Men er det plausibelt? På 1960-tallet ga AC Nielsen Jr. et interessant svar til dem som mente at større utvalg automatisk gir bedre representativitet:

“Hvis du ikke tror på tilfeldig utvalg, kan du neste gang du tar en blodprøve be legen om å ta alt.» – AC Nielsen Jr.

Til tross for den åpenbare sarkasmen, gir sitatet en lettfattelig og treffende analogi. Det spiller ingen rolle om du analyserer en dråpe blod eller om du tar en hel liter av den: analysefunnene vil alltid være de samme. Én dråpe kan altså representere helheten perfekt.

Hvorfor har utvalgsstørrelse betydning?

Det er klart at utvalgsstørrelsen fremdeles er viktig når vi snakker om representativitet. Men hvorfor betyr det egentlig noe? Når du har et representativt utvalg for en populasjon, kan noen av målvariablene ved en tilfeldighet være over- eller underrepresentert i utvalget ditt. Dessverre betyr “ved en tilfeldighet” at det egentlig ikke er noe du kan gjøre med det når du samler inn data.

Statistiske beregninger kan i det minste hjelpe deg med å estimere sannsynligheten for at feilen din er innenfor en viss margin, for eksempel at slike avvik fra den reelle verdien er mindre enn x % ved et konfidensnivå på 95 %.

• For opinionsforskere er et konfidensnivå på 95 % det vanligste alternativet. Her er risikoen din mindre enn 5 % for at den reelle verdien er utenfor den tilsvarende feilmarginen. I andre fagområder kan imidlertid et konfidensnivå på 99 % være standarden (f.eks. i farmasøytisk industri, da statistiske feil kan være et spørsmål om liv og død).
• Gitt konfidensnivået kan du beregne feilmarginen for hver verdi av en fordeling. La oss si at undersøkelsesresultatet ditt gir deg en markedsandel på 50 % og den tilsvarende feilmarginen er 3 % (på et 95 %-nivå), da er risikoen din mindre enn 5 % for at den reelle markedsandelen er lavere enn 47 % eller høyere enn 53 %.

Hvis du vil redusere feilmarginen (gitt et visst konfidensnivå), har du i utgangspunktet bare ett valg: du må øke utvalgsstørrelsen.

Hvordan bestemmer du størrelsen på utvalget?

For å bestemme størrelsen, er det ofte nødvendig å starte på slutten og jobbe seg bakover til begynnelsen. Men for tydelighetens skyld, vil vi kort lede deg gjennom intervjuprosessen i riktig rekkefølge og forklare de ulike statusene en respondent kan få.

Prosessen starter med at vi sender invitasjoner til panelmedlemmene våre. Av alle som blir invitert, vil bare noen klikke på lenken og starte undersøkelsen. Det er det vi mener med svarprosenten (prosentandelen av svar i forhold til totalt antall invitasjoner til å delta). Videre har vi typisk noen screeningsspørsmål i begynnelsen av undersøkelser for å identifisere ønsket målgruppe. Andelen kvalifiserte respondenter på dette stadiet kalles insidensraten (prosentandelen av individer i målpopulasjonen som oppfyller de kriteriene som kreves for studien). Etter at vi har sikret oss at respondentene tilhører riktig målgruppe, fordeler vi dem i kvoter og avslutter intervjuet for alle som tilhører en oppfylt kvote. Kvoter vurderes vanligvis etter screeningen for å sikre at vi kan måle riktig forekomst uten at kvotene forstyrrer resultatene. Hvis respondentene passer inn i en åpen kvote, kan de delta i hovedundersøkelsen. Enkelte kan likevel avbryte underveis og når aldri sluttsiden. Til slutt blir de som fullfører undersøkelsen, registrert som fullførte intervjuer.

Avbrudd

Som nevnt tidligere, begynner prosessen med å bestemme gjennomførbarheten med det nødvendige antallet gjennomførte intervjuer og involverer deretter å jobbe baklengs for å beregne nødvendig antall invitasjoner. Så la oss si at vi gjennomfører en studie som krever totalt 1000 intervjuer. Det første trinnet er å estimere mengden avbrudd under hovedintervjuet (også referert til som “frafall”, “partials” eller “drop-outs”).

Så, hva er en rimelig antakelse for bruddfrekvensen? Det avhenger hovedsakelig av selve undersøkelsen. Dersom spørreskjemaet er langt, repeterende eller om et tema som ikke er veldig relevant for respondentene, kan det forventes flere frafall. Men også teknologi spiller en viktig rolle. Hvis undersøkelsen er avhengig av utdatert teknologi (f.eks. Flash) eller ikke er mobilvennlig (f.eks. responsiv), kan brukerne ha vanskelig for å fullføre undersøkelsen. Våre erfarne prosjektledere hjelper deg gjerne med å optimalisere spørreskjemaet ditt for å holde antallet frafall så lavt som mulig!

La oss nå anta en frafallsrate på 2 % i vårt eksempel, det betyr at vi trenger 1 020 respondenter som starter hovedintervjuet.

Kvotefeil

Neste steg er å estimere antallet kvotefeil, noe som ofte er den mest utfordrende delen og krever en erfaren prosjektleder.

Kvotedefinisjoner kan være ganske komplekse. De kan inkludere mange variabler, være sammenkoblede eller uavhengige, og noen ganger kan respondenter tilordnes kvoter tilfeldig (tenk monadiske tester). I teorien burde panelmedlemmenes profiler gjøre det mulig å invitere kun de riktige deltakerne og unngå kvotefeil. I praksis er dette imidlertid ikke alltid mulig. Vi har ikke alltid tilgang til alle nødvendige profiler, og dersom feltperioden er kort, får vi kanskje ikke muligheten til å fylle de nødvendige kvotene gradvis eller nøye.

Oppsummert er kvotesvikt nesten uunngåelig i de fleste tilfeller. Omfanget avhenger mye av studiens spesifikasjoner (dvs. kvoteplan, feltperiode), men også av prosjektlederens erfaring. Å lykkes med å møte alle kvoter innenfor tidsrammen og samtidig opprettholde panelet kan utgjøre en betydelig utfordring, og det skiller erfarne samplere fra uerfarne.

La oss anta at 20 % ikke oppfyller kvotene i vårt eksempel. Da vil vi trenge 1276 screenede respondenter, inkludert frafallene.

Screen-outs

Det er relativt enkelt å estimere mengden screen-outs, siden forekomsten vanligvis er en del av forslaget. Denne insidensraten bør ideelt sett tilsvare andelen respondenter som kommer seg gjennom screeneren og er vanligvis uavhengig av andre faktorer.

La oss anta en insidensrate på 50 % for vårt eksempel, som vil gi oss et nødvendig antall på 2552 som starter undersøkelsen.

Svarprosent

Det siste trinnet i vår beregning er et svar på spørsmålet om hvor mange medlemmer vi må invitere, for å få 2552 startende. Svarprosenten avhenger litt av eksterne faktorer (som dagtid, ukedag, vær, høytider osv.). I tillegg spiller også kvaliteten på panelet en rolle, og sist, men ikke minst, parametrene for selve studien: hvis undersøkelsen passer for mobile enheter, kan vi sende invitasjonen til panelappen vår og dermed utnytte responsraten.

Hvis vi sier at det er 45 % for vårt eksempel, trenger vi en total utvalgsstørrelse på 5 669 respondenter. Dette er minimum antall respondenter som kreves for å oppfylle spesifikasjonene i denne eksempelsstudien. Men som du ser i panelboken vår, er selv vårt minste nettpanel stort nok til å gjennomføre denne typen undersøkelser.

Hvor bra er bra nok?

Og dette leder oss til et veldig viktig forretningsspørsmål: Hvor bra er bra nok? Det er definitivt ikke noe generelt svar på det, men vi vil gjerne diskutere tre scenarier for å illustrere mulige måter å tenke på det på:

• Konsepttest: La oss anta at en bedrift har to alternativer for en annonsekampanje. Her ønsker man bare å finne ut av hvilken som fungerer best, og så velge den! Forutsatt at resultatet ikke blir for stramt, kan ca. 500 intervjuer være tilstrekkelig (som tilsvarer en margin på 4,3 % på 95 % nivå – så det beste alternativet bør lede med minst 9 %).
• Valgundersøkelser: Når du forutsier populariteten til politiske partier ved valg, er du sannsynligvis interessert i mer enn individuelle rangeringer. Du vil lure på hvilke partier som kan danne en koalisjon for å få flertall. Hvis du har to parter med 3 % feilmargin hver, vil det bli ganske vanskelig å forutsi det, spesielt hvis utfallet forventes å være stramt. I dette tilfellet bør du øke utvalgsstørrelsen for å redusere feilmarginen.
• Undergrupper: I tillegg til generell statistikk vil du ofte analysere undergrupper av utvalget ditt: Hvem er egentlig heavy-users av ditt produkt? Hvordan skiller menn seg fra kvinner? Hva slags produkter foretrekker lesere av et bestemt magasin? Hvis du bare bruker en mindre delmengde av hovedutvalget ditt, vil det tilgjengelige antallet intervjuer for den påfølgende analysen også reduseres. I dette tilfellet bør du også jobbe med en større utvalgsstørrelse.

Kort oppsummert, handler det om å ha nok intervjuer som lar deg trekke pålitelige konklusjoner og fortsatt være rimelig med de totale kostnadene ved feltarbeid.

Sammendrag

Så hvor mange intervjuer anbefales for å få representative resultater? Dette spørsmålet kan rett og slett ikke besvares. Du kan ha små utvalg som er veldig representative og store utvalg som ikke er representative i det hele tatt (veldig ofte: “Big Data”).

• Representativitet handler om riktig sammensetning av utvalget ditt. Den indikerer om prøven gir deg det riktige bildet av virkeligheten. Hvis det er litt uskarpt, vil det fortsatt tillate deg å få det store bildet riktig.
• Størrelsen på en prøve definerer hvor tydelig du kan se. Hvis utvalget ditt ikke er representativt, vil en stor størrelse gjøre det mulig for deg å se veldig tydelig – men det vil være et falskt bilde, en feilaktig fremstilling av sannheten.