Vad gör ett urval representativt?

VI börjar med en historia som faktiskt har blivit marknadsundersökningens grundläggande myt. För hundra år sedan började den amerikanska tidskriften The Literary Digest genomföra opinionsundersökningar bland sina tio miljoner läsare för att förutspå resultatet av presidentvalet. I fem på varandra följande val var deras förutsägelser helt korrekta tills de massivt misslyckades 1936, trots att de genomförde cirka 2,4 miljoner intervjuer bland sina läsare. Till deras förvåning kunde George Gallup förutsäga resultatet av detta val korrekt med “bara” 50 000 intervjuer.

Så vad hände? Literary Digests urval misslyckades, eftersom deras läsare inte var representativa för den allmänna befolkningen. De hade en annan åldersstruktur, en annan genomsnittlig inkomst – och uppenbarligen andra politiska preferenser. Gallup förstod tvärtom att representativitet inte så mycket handlar om urvalets storlek utan om urvalets rätta sammansättning. Han använde helt enkelt kvoter för att se till att alla grupper av människor var korrekt representerade i sitt urval. Denna banbrytande upptäckt var startpunkten för marknads- och opinionsundersökningar som vi känner dem idag.

För representativiteten är det inte storleken som är avgörande utan den rätta sammansättningen. Men är det rimligt? På 1960-talet gav A.C. Nielsen Jr. ett intressant svar till de som trodde att ett större urval skulle öka dess representativitet.

“Om du inte tror på slumpmässiga urval, nästa gång du tar ett blodprov, säg åt läkaren att ta allt.” – A.C. Nielsen Jr.

Trots sin obestridliga sarkasm ger detta citat oss en mycket begriplig analogi. Det spelar ingen roll om man analyserar en droppe blod eller om man tar en hel liter: analysresultaten kommer alltid att vara desamma. En droppe blod representerar allt detta på ett perfekt sätt.

Varför spelar urvalets storlek roll?

Självklart är urvalsstorleken fortfarande viktig. Men varför spelar det egentligen någon roll? När man har ett representativt urval för en population kan det hända att några av målvariablerna är över- eller underrepresenterade i urvalet. Tyvärr innebär “slumpen” att det egentligen inte finns något du kan göra åt det när du samlar in data.

Statistiska beräkningar kan åtminstone hjälpa dig att uppskatta sannolikheten för att ditt fel ligger inom en viss marginal, t.ex. att sådana avvikelser från det verkliga värdet är mindre än x% vid en konfidensnivå på 95%.

• För opinionsundersökare är en konfidensnivå på 95% det vanligaste alternativet. Här är risken mindre än 5% att det verkliga värdet ligger utanför den motsvarande felmarginalen. Inom andra områden kan dock en konfidensnivå på 99% vara standard (t.ex. inom läkemedelsindustrin, eftersom statistiska fel kan vara en fråga om liv och död).
• Med konfidensnivån kan du beräkna felmarginalen för varje värde i en fördelning. Låt oss säga att resultatet av din undersökning ger dig en marknadsandel på 50% och att din motsvarande felmarginal är 3% (på en 95%-nivå), då är din risk mindre än 5% att den verkliga marknadsandelen är lägre än 47% eller högre än 53%.

Om man vill minska felmarginalen (givet en viss konfidensnivå) har man i princip bara ett val: man måste öka urvalsstorleken.

Hur bestämmer man storleken på sitt urval?

För att bestämma storleken på ditt urval är det ofta nödvändigt att börja från slutet och arbeta sig bakåt till början. För tydlighetens skull kommer vi dock att kortfattat gå igenom intervjuprocessen i rätt ordning och förklara de slutliga statusar som en respondent kan få.

Allt börjar med att vi skickar inbjudningar till våra panelmedlemmar. Av alla inbjudna är det bara en del som faktiskt klickar på länken och startar undersökningen. Det är vad vi beskriver med svarsfrekvensen (procentandelen svar i förhållande till det totala antalet inbjudningar att delta). I början av en undersökning brukar vi dessutom ha några screeningfrågor för att identifiera den önskade målgruppen. Procentandelen behöriga respondenter i detta skede återspeglas i incidensen (procentandelen individer i en målpopulation som uppfyller ett specifikt kriterium som krävs för en studie). När vi har säkerställt att vi har rätt målgrupp kommer vi att bedöma möjliga kvoter och avsluta intervjun för de respondenter vars kvoter redan har fyllts. Kvoter utvärderas vanligtvis efter screeningen för att se till att vi kan mäta rätt incidens utan inblandning av kvoter. Om respondenterna passar in i en öppen kvot kan de delta i huvudundersökningen. Vissa kan dock avbryta under intervjun och aldrig nå slutsidan. Slutligen kommer de som når slutet av undersökningen att räknas som slutförda intervjuer.

Ofullständiga

Som tidigare nämnts börjar processen för att fastställa genomförbarhet med det nödvändiga antalet genomförda intervjuer och sedan arbetar man bakåt för att beräkna det nödvändiga antalet inbjudningar. Låt oss säga att vi genomför en studie som kräver totalt 1 000 intervjuer. Det första steget är att uppskatta antalet ofullständiga under huvudintervjun (även kallat “drop outs”, “partials” eller “abandonments”).

Så vad är ett rimligt antagande för frekvensen av ofullständiga? Det beror huvudsakligen på själva undersökningen. Om frågeformuläret är långt, repetitivt eller handlar om ett ämne som inte är så relevant för respondenterna kan fler ofullständiga förväntas. Men även tekniken spelar en viktig roll. Om undersökningen bygger på föråldrad teknik (t.ex. Flash) eller inte är mobilvänlig (t.ex. responsiv), kan användarna ha svårt att fylla i undersökningen. Våra erfarna projektledare hjälper dig gärna att optimera ditt frågeformulär för att hålla antalet ofullständiga så lågt som möjligt!

Om vi antar ett bortfall på 2 % i vårt exempel innebär det att vi behöver 1 020 respondenter för att starta huvudintervjun.

Kvotbortfall

Nästa steg är att uppskatta mängden kvotbortfall, vilket ofta är den mest utmanande uppgiften och kräver en erfaren projektledare.

Kvotdefinitioner kan vara ganska komplexa. De kan innehålla många variabler, de kan vara sammankopplade eller icke sammankopplade och ibland tilldelas respondenterna dem till och med av en slump (tänk på monadiska test). I teorin ska de tillgängliga variablerna i våra panelmedlemmars profiler hjälpa oss att bjuda in endast de rätta deltagarna och undvika kvotbortfall. Detta är dock inte alltid möjligt i praktiken. Vi kanske inte alltid har tillgång till alla de profiler som krävs, och om fältperioden är för kort kanske vi inte har möjlighet att gradvis och noggrant uppfylla de olika kvoterna.

Sammanfattningsvis är kvotbortfall nästan oundvikliga i de flesta fall. Deras omfattning beror mycket på specifikationerna för studien (t.ex. kvotplan, fältperiod), men också på projektledarens erfarenhet. Att lyckas uppfylla alla krav inom tidsramen och samtidigt behålla panelen kan utgöra en betydande utmaning, och det skiljer erfarna provtagare från oerfarna.

Låt oss anta att 20 % av kvoterna inte uppfylls i vårt exempel, så att vi behöver 1 276 screenade respondenter, inklusive break-offs.

Screen outs

Det är relativt enkelt att uppskatta antalet screen outs, eftersom incidensen vanligtvis är en del av förslaget. Denna incidens bör helst motsvara den andel av de svarande som klarar sig genom screeningen och är vanligtvis oberoende av andra faktorer.

Låt oss anta en incidens på 50 % för vårt exempel, vilket ger oss ett behov av 2 552 påbörjade.

Svarsfrekvens

Det sista steget i vår beräkning är ett svar på frågan om hur många medlemmar vi måste bjuda in för att få 2 552 påbörjade. Svarsfrekvensen beror i viss mån på externa faktorer (t.ex. dagtid, veckodag, väder, semesterperiod osv.). Dessutom spelar panelens kvalitet en roll, och sist men inte minst parametrarna för själva studien: om undersökningen är lämplig för mobila enheter kan vi skicka inbjudan till vår panelapp och därigenom öka svarsfrekvensen.

Om vi säger att det är 45 % i vårt exempel, skulle vi behöva en total urvalsstorlek på 5 669. Det är den minsta mängd som krävs för att uppfylla specifikationerna i denna exempelstudie. Men som du kan se i vår panelbok är även vår minsta onlinepanel tillräckligt stor för att genomföra den här typen av studier.

Hur bra är tillräckligt bra?

Och detta leder oss till en mycket viktig affärsfråga: Hur bra är tillräckligt bra? Det finns definitivt inget generellt svar på frågan, men vi skulle vilja diskutera tre scenarier för att illustrera möjliga sätt att tänka kring den:

• Test av koncept: Låt oss anta att ett företag har två alternativ för en reklamkampanj. Men vilken fungerar bäst? Du skulle bara behöva identifiera vinnaren och gå vidare med det! Förutsatt att utfallet inte är för snävt kan ca 500 intervjuer vara tillräckligt (vilket motsvarar en marginal på 4,3% på en 95% nivå – så det bästa alternativet bör leda med minst 9%).
• Forskning om val: När du gör prognoser för politiska partiers popularitet vid val är du förmodligen intresserad av mer än enskilda betyg. Du kommer att undra över vilka partier som skulle kunna bilda en koalition för att få majoritet. Om man har två partier med en felmarginal på 3 procent vardera kommer det att bli ganska svårt att förutse resultatet, särskilt om det förväntas bli jämnt. I detta fall bör du öka urvalsstorleken för att minska felmarginalen.
• Undergrupper: Förutom övergripande statistik vill du ofta analysera undergrupper i ditt urval: Vilka är egentligen dessa tunga användare? Hur skiljer sig män från kvinnor? Vilken typ av produkter föredrar läsare av en viss tidning? Om du bara använder en mindre delmängd av ditt huvudurval, kommer det tillgängliga antalet intervjuer för din efterföljande analys också att minska. I detta fall bör du också arbeta med en ökad urvalsstorlek.

I slutändan består konsten i att ha tillräckligt många intervjuer som gör att du kan dra tillförlitliga slutsatser och ändå vara rimlig med de totala kostnaderna för fältarbetet.

Sammanfattning

Så hur många intervjuer rekommenderas för att få representativa resultat? Denna fråga kan helt enkelt inte besvaras. Man kan ha små urval som är mycket representativa och stora urval som inte alls är representativa (mycket ofta: “Big Data”).

• Representativitet handlar om den rätta sammansättningen av ditt urval. Det indikerar om ditt urval ger dig rätt bild av verkligheten. Även om bilden är lite suddig kan du ändå få en korrekt bild av helheten.
• Storleken på ett urval avgör hur tydligt du kan se. Om ditt urval inte är representativt kan du med en större storlek se det mycket tydligt – men det blir en falsk bild, en missvisande representation av sanningen.