Hvor representativ er nettbaserte markedsundersøkelser?

Hva betyr representativ?

Generelt refererer begrepet representativ til noe som nøyaktig gjenspeiler eller tilsvarer en større gruppe eller helhet. I markedsundersøkelser sikter vi til utvalgets representativitet. Et representativt utvalg er ment å speile egenskapene til den bestemte populasjonen. I denne sammenhengen betyr en populasjon en definert gruppe mennesker som deler et sett med like kjennetegn (for eksempel demografi, kjønn eller andre variabler som nåværende hundeeiere). Tanken er at utvalget skal gjøre gyldige slutninger om den større gruppen.

Derfor sier vi at et utvalg er representativt dersom resultatene fra å analysere utvalget også kan anses som sanne for hele den tilsvarende populasjonen.

Hvis du analyserer denne definisjonen av representativitet, vil du merke at det ikke er noen representativitet som sådan. Begrepet representativ krever alltid et “for”, f.eks:

• representativ for befolkningen generelt (også kalt nasjonalt representativ)
• representativ for befolkningen generelt mellom 18 og 65 år
• representativ for internettbefolkningen mellom 18 og 65 år

Statistikere hevder at kun tilfeldige utvalg kan være representative. Ifølge denne logikken kan ikke kvoteutvalg være representative, fordi man ikke kan vite hva de riktige kvotene er før man har gjennomført en representativ studie. Dette er imidlertid et veldig teoretisk argument. I praksis har forskerne mye kunnskap om hvordan variabler fordeler seg på deres målgrupper og kan sette kvotene deretter. I tillegg lar folketellingsdata fra de nasjonale statistikkkontorene forskere validere og justere modellene sine kontinuerlig.

Samtidig blir det stadig vanskeligere å trekke et perfekt, tilfeldig utvalg. Telefonintervjuere eller personlige intervjuere må for eksempel håndtere en økende andel mennesker som nekter å delta i forskningsprosjekter. Så selv disse metodene har sine begrensninger. Til syvende og sist er stikkprøveteknikker mye dyrere og gir mange av forskningsspørsmålene liten merverdi sammenlignet med kvoteprøvetaking.

Er nettbaserte markedsundersøkelser partiske?

Det kreves fire steg før en gruppe personer fra den generelle befolkningen kan registrere svarene sine i en datafil. Følgende avsnitt vil analysere disse fire stegene og understreke de tilsvarende begrensningene for representativitet.

Dekningsskjevhet

Hvis du vil vurdere representativiteten for befolkningen generelt, bør du begynne å se på internettpenetrasjonen. I Europa bruker gjennomsnittlig 84 % av befolkningen internett daglig. Spesielt i Vest- og Nord-Europa er internettpenetrasjonen betydelig høyere, med utmerkede verdier i Norge, Danmark og Nederland (hver 96 %). I disse landene går nettbasert forskning glipp av mindre enn 5 % av den totale befolkningen.

Selvsagt er den samlede internettpenetrasjonen bare relevant, dersom man ønsker å trekke konklusjoner som er representative for befolkningen generelt. I mange tilfeller må resultatene bare være representative for nettpopulasjonen, spesielt når forskningsemnet handler om e-handel, nettannonsering eller lignende emner. I dette tilfellet trenger du ikke å bekymre deg for å gå glipp av “non-linere” (personer som ikke bruker internett).

Hvem er egentlig non-linere? Tidligere har nettbefolkningen vært betydelig yngre, bedre utdannet og mer interessert i teknologi. Forskjellene har i stor grad forsvunnet de siste årene og reduseres fortsatt i takt med økende internettpenetrasjon. Spesielt bruken av mobilt internett har fått mindre utdannede og eldre mennesker til å bruke internett, som ikke brukte det tidligere.

Alt i alt er dekningsskjevheten kun relevant dersom man ønsker å trekke konklusjoner for befolkningen generelt og ikke bare nettpopulasjonen. I dette tilfellet bør du prøve å finne ut om forskningstemaet ditt er korrelert med utdanning eller teknisk tilhørighet for å adressere den mulige skjevheten. Dessverre er det ingenting du kan gjøre med det som forsker. Hvis du virkelig bekymrer deg for datakvaliteten, må du velge en annen metode for datainnsamling. Imidlertid er ikke dekningsskjevheten et så stort problem for de fleste emner og i de fleste land, og heldigvis til og med avtagende.

Utvalgsskjevhet

Før vi graver dypere inn i panelrekruttering, må vi innføre en veldig viktig distinksjon. Hver gang du aktivt velger og inviterer kvalifiserte panelmedlemmer, har du perfekt kontroll over hvem som blir med i panelet. Det er dette vi kaller aktiv rekruttering. Når du derimot lar folk abonnere på panelet selv, har du ikke kontroll over hvem som blir med i panelet. Det er dette vi kaller åpen rekruttering.

De fleste paneler opererer med åpen rekruttering, fordi det er en svært kostnadseffektiv og ukomplisert måte å utvide et panel på. Det er imidlertid en klar ulempe ved det. Først og fremst vil du hovedsakelig tiltrekke deg personer som har en egeninteresse i å ta undersøkelser, og disse er ikke representative for befolkningen generelt. For det andre er det nesten umulig å holde folk utenfor et panel som ikke oppfyller de nødvendige demografiske dataene eller som ikke på annen måte overholder kvalitetsstandardene dine.

I Norstat tror vi på kvaliteten på aktiv rekruttering og har derfor ikke en offentlig registreringsside til panelene våre. I land hvor vi har telefonsentre velger vi tilfeldig ut personer fra befolkningen generelt og inviterer dem på telefonen til å bli med i panelene våre. Dette gjør panelene våre så representative som mulig. I alle andre land bruker vi en god miks av rekrutteringskanaler for å unngå at en enkelt kilde kan ha stor innvirkning på den generelle kvaliteten. Registranter fra disse kildene ledes til en skjult abonnementsside som vi kan skjule når som helst. Faktisk skjer dette hver gang vi identifiserer kvalitetsproblemer eller uredelig atferd som kommer fra en spesifikk rekrutteringskilde. Til slutt kan vi booste enhver demografisk gruppe med målrettet rekruttering, dersom vi føler at panelstrukturen ikke er balansert.

Kort sagt, hvis panelleverandører inviterer feil personer til å delta i panelene deres eller går glipp av en spesifikk målgruppe, er panelet ikke representativt. All innsats på dette stadiet er kanskje ikke synlig for mange kunder, men de utgjør definitivt forskjellen mellom et forskningspanel av høy kvalitet og en ikke-representativ e-postliste. Derfor bør du alltid sammenligne panelleverandører etter hvordan de rekrutterer inn i panelene sine. Vi jobber også aktivt for at registreringsskjeamene våre skal være 100 % mobilvennlige, for å sikre at vi ikke ekskluderer mobilbrukere fra å bli med i panelet vårt. Det er overraskende at dette ikke er vanlig praksis for alle paneler enda. Vi kommer tilbake til dette senere.

Svarskjevhet

La oss ta utgangspunkt i at vi operer med et representativt nettpanel, for eksempelet skyld. Hvis vi trekker et tilfeldig utvalg av panelmedlemmer, vil også dette utvalget være representativt. Problemet oppstår når ikke alle faktisk svarer på undersøkelsen. Noen grupper klikker på lenken i invitasjonen med én gang, andre bruker lenger tid, mens enkelte knapt svarer i det hele tatt. Når datainnsamlingen avsluttes, kan derfor resultatene være skjeve – selv om utvalget i utgangspunktet var perfekt i begynnelsen.

Frafall er et velkjent problem innenfor all datainnsamling, ikke bare i nettbaserte undersøkelser. Likevel oppnår nettpaneler tilfredsstillende svarprosent . Årsaken er at medlemmene forventer å motta undersøkelser jevnlig, og over tid har de utviklet tillit til leverandøren når det gjelder personvern og databeskyttelse. Dette skiller seg klart fra telefonsamtaler fra intervjuere, som kommer uoppfordret og kan oppleves som uønsket. I tillegg gir nettundersøkelser fleksibilitet: man kan forlenge datainnsamlingsperioden og sende ut påminnelser for å øke svarprosenten.

For å motvirke skjevheter i datasettet, er det lurt å bruke kvoter. Disse kan enten være myke kvoter (der prosjektlederen gjør sitt beste for å nå ønsket fordeling) eller harde kvoter (der respondenter fra en overrepresentert gruppe stenges ute når kvoten er fylt) . Et tredje alternativ er å benytte vekting i analysen for å justere for under- eller overrepresenterte grupper.

Alt i alt kan svarskjevheten ha stor innvirkning på resultatene.. Heldigvis bidrar Norstats sterke fokus på medlemmenes motivasjon til at vi oppnår svarrater som ligger over gjennomsnittet.

Ekskluderingsskjevhet

Til slutt er vi nødt til å diskutere mobile enheter. Hvis undersøkelsesmalen din ikke tillater mobilbrukere å svare på spørreskjemaet ditt, vil du systematisk gå glipp av en stor andel av befolkningen. Avhengig av land bruker omtrent to tredjedeler av befolkningen ofte internett med smarttelefon, nettbrett eller datamaskin. Derfor kan det å ekskludere dem fra en undersøkelse ha en enorm innvirkning på den generelle kvaliteten på studien din.

Merk at eksklusjonsskjevhet ofte blir oversett når vi diskuterer representativitet, særlig dersom de foregående trinnene ikke tas på alvor. Hvis registreringssiden til panelet ditt ikke er mobilvennlig, ekskluderer du systematisk mobilbrukere allerede under innmeldingen. Og hvis du ikke bruker responsive e-postmaler eller en mobilapp når du inviterer panelmedlemmene dine, kan svarprosenten bli lavere, fordi du også går glipp av mobilbrukere etter de har blitt medlem.

For å holde det kort, hvis du streber etter representative resultater, bør du sørge for at undersøkelsen passer for alle enheter . Hos Norstat har vi lang erfaring med spørreskjemadesign og hjelper deg gjerne med å tilpasse undersøkelsen din best mulig til alle enheter..

Konklusjonen

Så, hvor representativ er egentlig nettbaserte undersøkelser? Vi mener det kan være veldig representativt, forutsatt at kvaliteten opprettholdes . I Norstat streber vi etter å levere den førsteklasses kvaliteten våre kunder forventer. Og vi prøver å være så transparente som mulig i denne prosessen, for vi har ingenting å skjule.

Men vi har også forsøkt å illustrere at mye kan gå galt når du utfører nettbaserte undersøkelser med paneler. Dette betyr ikke at andre metoder har flere fordeler, utfordringene deres er bare annerledes. Uansett krever nettbasert forskning profesjonell oppfølging for å sikre pålitelige og representative resultater.

Ta gjerne kontakt hvis du ønsker å lære mer om våre kvalitetsstandarder. Vi ser frem til å høre fra deg!