Vad betyder representativ?

I allmänhet avser termen representativ något som på ett korrekt sätt återspeglar eller motsvarar en större grupp eller helhet. Inom marknadsundersökningar hänvisar vi till urvalets representativitet. Ett representativt urval är avsett att spegla egenskaperna hos den beslutade populationen. I detta sammanhang innebär en population en definierad grupp av människor som delar en uppsättning liknande egenskaper (t.ex. demografi, kön eller andra variabler som nuvarande hundägare). Tanken är att urvalet ska kunna ge giltiga slutsatser om den större gruppen.

Därför säger vi att ett urval är representativt om resultaten från analysen av urvalet också kan anses vara sanna för hela den motsvarande populationen.

Om man analyserar denna definition av representativitet, kommer man att konstatera att det inte finns någon representativitet i sig. Termen representant kräver alltid ett “för”, t.ex.

• representativ för den allmänna befolkningen (även kallad nationell representativ)
• representativ för den allmänna befolkningen mellan 18 och 65 år
• representativ för internetbefolkningen mellan 18 och 65 år

Statistiker hävdar att endast slumpmässiga urval kan vara representativa. Enligt deras logik kan kvoturval inte vara representativa eftersom det är omöjligt att veta vilka kvoter som är rätt innan man genomför en representativ studie. Detta är dock ett mycket teoretiskt argument. I praktiken har marknadsundersökare mycket kunskap om hur variablerna fördelas bland målgrupperna och kan sätta kvoterna därefter. Dessutom gör folkräkningsuppgifter från de nationella statistikkontoren det möjligt för undersökare att validera och justera sina modeller kontinuerligt.

Samtidigt blir det allt svårare att dra ett perfekt slumpmässigt urval. Telefonintervjuer eller personliga intervjuer måste till exempel hantera en växande andel människor som vägrar att delta i projekt. Så även dessa metoder har sina begränsningar. I slutändan är slumpmässiga urvalstekniker mycket dyrare och ger för många undersökningsfrågor ett litet mervärde jämfört med kvoturval.

Är online-undersökningar partiska?

Fyra steg måste tas innan en grupp människor från den allmänna befolkningen kan lämna sina svar i en datafil. I följande avsnitt analyseras dessa fyra steg och betonas de motsvarande begränsningarna för representativitet.

Bias i täckningen

Om man vill bedöma representativiteten för den allmänna befolkningen bör man börja med att titta på internetpenetrationen. I Europa använder i genomsnitt 84% av befolkningen Internet dagligen. Särskilt i västra och norra Europa är internetpenetrationen betydligt högre, med utmärkta värden i Norge, Danmark och Nederländerna (vardera 96%). I dessa länder missar online-undersökningarna mindre än 5% av den totala befolkningen.

Den totala internetpenetrationen är naturligtvis bara relevant om man vill dra slutsatser som är representativa för befolkningen i stort. I många fall behöver resultaten dock bara vara representativa för onlinepopulationen, särskilt när undersökningen handlar om e-handel, onlineannonsering eller liknande ämnen. I detta fall behöver du inte oroa dig för att missa de så kallade “nonliners”.

Och vilka är dessa nonliners egentligen? Tidigare har online-befolkningen varit betydligt yngre, mer välutbildad och mer teknikintresserad. Dessa skillnader har försvunnit under de senaste åren och kommer att fortsätta att försvinna i takt med att den totala internetpenetrationen ökar. Framför allt har den mobila internetanvändningen fått lågutbildade och äldre människor att använda internet.

Allt som allt, täckningsbiasen är endast relevant om man vill dra slutsatser för den allmänna befolkningen och inte bara onlinebefolkningen. I det här fallet bör du försöka ta reda på om ditt undersökningsämne är korrelerat med utbildning eller teknisk affinitet för att hantera eventuell partiskhet. Tyvärr finns det inget du som undersökare kan göra åt det. Om du verkligen oroar dig för datakvaliteten måste du välja en annan metod för datainsamling. För de flesta ämnen och i de flesta länder är dock den partiska täckningen inte ett alltför stort problem, och tack och lov minskar den till och med.

Bias vid urval

Innan vi gräver djupare i panelrekrytering måste vi introducera en mycket viktig distinktion. När du aktivt väljer ut och bjuder in kvalificerade panelmedlemmar har du full kontroll över vilka som går med i panelen. Detta är vad vi kallar aktiv rekrytering. Om du däremot tillåter personer att själva prenumerera på panelen har du ingen kontroll över vilka som ansluter sig till panelen. Det är vad vi kallar öppen rekrytering.

De flesta paneler arbetar med öppen rekrytering, eftersom det är ett mycket kostnadseffektivt och okomplicerat sätt att få en panel att växa. Det finns dock en tydlig nackdel med detta. Först och främst kommer du främst att locka människor som har ett egenintresse av att delta i undersökningar och dessa är inte representativa för den allmänna befolkningen. För det andra är det nästan omöjligt att hålla personer borta från en panel som inte uppfyller de demografiska kraven eller som på något annat sätt inte uppfyller dina kvalitetsstandarder.

På Norstat tror vi på kvaliteten i aktiv rekrytering och har därför ingen offentlig registreringssida för våra paneler. I länder där vi har callcenters väljer vi slumpmässigt ut personer ur befolkningen och ringer upp dem för att bjuda in dem till våra paneler. Detta gör våra paneler så representativa som möjligt. I alla andra länder använder vi en mycket bred blandning av rekryteringskanaler för att undvika att en enskild källa kan ha en stor inverkan på den övergripande kvaliteten. Registrerade från dessa källor hänvisas till en dold prenumerationssida som kan stängas av när som helst. I själva verket sker detta varje gång vi identifierar kvalitetsproblem eller bedrägligt beteende från en specifik rekryteringskälla. Slutligen kan vi stärka alla demografiska grupper med riktad rekrytering, om vi anser att panelstrukturen inte är balanserad.

Kort sagt, om panelleverantörerna bjuder in fel personer till sina paneler eller missar en specifik målgrupp är panelen inte representativ. Alla ansträngningar i detta skede kanske inte är synliga för många köpare, men de gör definitivt skillnaden mellan en högkvalitativ panel och en icke-representativ mailinglista. Därför bör du alltid jämföra panelleverantörer utifrån hur de rekryterar till sina paneler. Och förresten, våra registreringsformulär är 100% mobilvänliga för att se till att vi inte utesluter mobilanvändare från att gå med i vår panel. Du skulle bli förvånad över hur många paneler som ännu inte har denna standard. Vi kommer att återkomma till detta ämne senare.

Icke-svarsbias

Låt oss anta att vi har en representativ onlinepanel nu. Om vi skulle dra ett slumpmässigt urval av panelmedlemmar, skulle detta urval också vara representativt. Tyvärr är det inte alla medlemmar som klickar på länken i inbjudningsmejlet. Vissa grupper skulle reagera mycket snabbt, andra skulle behöva mer tid och vissa skulle knappt reagera alls. I slutet av fältperioden skulle datauppsättningen inte vara representativ för målpopulationen, även om den skulle ha varit ett perfekt slumpmässigt urval i början.

Bortfall är ett allvarligt problem – inte bara för online-undersökningar utan för alla metoder för datainsamling. Intressant nog uppnår särskilt onlinepaneler tillfredsställande svarsfrekvenser, eftersom deras medlemmar förväntar sig att få inbjudningar till undersökningar regelbundet. Dessutom har de med tiden lärt sig att de kan lita på panelleverantören när det gäller integritet och dataskydd. Detta är förmodligen den största skillnaden jämfört med samtal från telefonintervjuare, som är obeställda. Vid online-undersökningar kan du dessutom helt enkelt förlänga fältperioden och skicka påminnelser för att öka svarsfrekvensen.

För att undvika skeva fördelningar i dina slutdata bör du ange kvoter. Dessa kan antingen vara mjuka kvoter (vilket innebär att projektledaren kommer att försöka uppnå den önskade fördelningen efter bästa förmåga) eller hårda kvoter (vilket innebär att respondenterna inte kommer att kunna slutföra intervjun när du har samlat in tillräckligt med feedback i denna målgrupp). Ett tredje alternativ är att arbeta med viktningsfaktorer för att justera för över- eller underrepresenterade undergrupper.

Sammantaget kan bortfallsbias snedvrida dina resultat dramatiskt. Lyckligtvis uppnår Norstat svarsfrekvenser över genomsnittet tack vare vårt rigorösa fokus på våra medlemmars motivation.

Bias vid uteslutning

Sist men inte minst måste vi prata om mobila enheter. Om din undersökningsmall inte tillåter mobila användare att besvara din enkät kommer du systematiskt att missa en stor andel av befolkningen. Beroende på land använder ungefär två tredjedelar av befolkningen ofta internet med en smartphone, surfplatta eller dator. Att utesluta dem från en undersökning kan därför ha en enorm inverkan på den övergripande kvaliteten på din studie.

Observera att uteslutningsbias ofta glöms bort när man talar om representativitet, särskilt om man inte har tagit datakvaliteten på allvar i de föregående stegen. Om prenumerationssidan i din panel inte är mobilvänlig utesluter du systematiskt mobilanvändare i ett tidigare skede. Och om du inte använder responsiva e-postmallar eller en mobilapp när du bjuder in dina panelmedlemmar kan svarsfrekvensen bli lägre, eftersom du också går miste om mobilanvändare.

Kort sagt, om du strävar efter representativa resultat bör du se till att din undersökning är lämplig för alla enheter. På Norstat har vi lång erfarenhet av att utforma enkäter och vi hjälper dig gärna att utforma din enkät på bästa möjliga sätt och för alla enheter.

Slutsats

Så hur representativa är online-undersökningar? Vi tror att det kan vara mycket representativt, så länge man inte kompromissar med kvaliteten. På Norstat gör vi vårt bästa för att leverera den kvalitet som våra kunder förväntar sig av oss. Och vi försöker vara så transparenta som möjligt i den här processen, eftersom vi inte har något att dölja.

Men du kan också se att många saker kan gå fel när man bedriver online-undersökningar med paneler. Det betyder inte att andra metoder har fler fördelar, deras utmaningar är bara olika. I vilket fall som helst kräver online-undersökningar professionell omsorg för att generera tillförlitliga och representativa resultat.

Hör gärna av dig till oss om du vill veta mer om våra kvalitetsstandarder. Vi ser fram emot att höra från dig!