Edustavuus on kuin markkinatutkimuksen El Dorado: mystinen paikka, jonka olemassaoloa kerrotaan suusta suuhun, vaikka sitä ei juurikaan dokumentoida kirjallisuudessa. Pyrimme arvioimaan verkkotutkimusten edustavuutta ja tarkastelemaan neljää merkittävää harhaa, jotka voivat mahdollisesti vaikuttaa verkkotutkimusten tuloksiin.
Yleisesti ottaen termi edustava viittaa johonkin, joka kuvastaa tai vastaa tarkasti suurempaa ryhmää tai kokonaisuutta. Markkinatutkimuksessa puhutaan otoksen edustavuudesta. Edustavan otoksen on tarkoitus heijastaa perusjoukon ominaisuuksia. Tässä yhteydessä populaatiolla tarkoitetaan määriteltyä ihmisryhmää, jolla on samankaltaiset ominaisuudet (esim. väestötiedot, sukupuoli tai muut muuttujat, kuten nykyiset koiranomistajat). Ajatuksena on, että otoksen pitäisi antaa päteviä päätelmiä suuremmasta ryhmästä.
Siksi sanomme, että otos on edustava, jos otoksen analysoinnista saatuja tuloksia voidaan pitää oikeina myös koko vastaavan perusjoukon osalta.
Jos analysoitte tätä edustavuuden määritelmää, huomaatte, ettei edustavuutta sinänsä ole. Termi “edustaja” edellyttää aina “for”-merkintää, esim.
Tilastotieteilijät väittävät, että vain satunnaisotokset voivat olla edustavia. Heidän logiikkansa mukaan kiintiöotokset eivät voi olla edustavia, koska on mahdotonta tietää oikeita kiintiöitä. ennen edustavan tutkimuksen tekeminen. Tämä on kuitenkin hyvin teoreettinen väite. Käytännössä tutkijoilla on paljon tietoa siitä, miten muuttujat jakautuvat kohderyhmien kesken, ja he voivat asettaa kiintiöt sen mukaisesti. Lisäksi kansallisten tilastokeskusten väestölaskentatiedot antavat tutkijoille mahdollisuuden validoida ja mukauttaa mallejaan jatkuvasti.
Samaan aikaan täydellisen satunnaisotoksen ottaminen on yhä vaikeampaa. Esimerkiksi puhelinhaastatteluissa tai henkilökohtaisissa haastatteluissa joudutaan kohtaamaan yhä suurempi osa ihmisistä, jotka kieltäytyvät osallistumasta tutkimushankkeisiin. Näilläkin menetelmillä on siis rajoituksensa. Loppujen lopuksi satunnaisotantamenetelmät ovat paljon kalliimpia, ja monien tutkimuskysymysten osalta ne tuovat vain vähän lisäarvoa verrattuna kiintiöotantaan.
On toteutettava neljä vaihetta, ennen kuin joukko väestöön kuuluvia henkilöitä voi jättää vastauksensa tietokantaan. Seuraavassa jaksossa analysoidaan näitä neljää vaihetta ja korostetaan niihin liittyviä edustavuuden rajoituksia.
Jos halutaan arvioida edustavuutta koko väestön osalta, on syytä aloittaa tarkastelu internetin levinneisyydestä. Euroopassa keskimäärin 84 prosenttia ihmisistä käyttää internetiä päivittäin. Erityisesti Länsi- ja Pohjois-Euroopassa internetin levinneisyys on huomattavasti korkeampi, ja Norjassa, Tanskassa ja Alankomaissa se on erinomainen (96 prosenttia). Näissä maissa verkkotutkimus ei koske alle 5:tä prosenttia koko väestöstä.
Internetin yleinen levinneisyys on tietysti merkityksellinen vain, jos halutaan tehdä päätelmiä, jotka edustavat koko väestöä. Monissa tapauksissa tulosten on kuitenkin vain oltava edustavia verkkopopulaation kannalta, erityisesti silloin, kun tutkimusaiheena on sähköinen kaupankäynti, verkkomainonta tai vastaavat aiheet. Tällöin sinun ei tarvitse huolehtia siitä, että niin sanotut “nonlinerit” jäävät pois.
Ja keitä nämä epälinjalaiset tarkalleen ottaen ovat? Aiemmin verkkoväestö on ollut huomattavasti nuorempaa, koulutetumpaa ja kiinnostuneempaa teknologiasta. Nämä erot ovat hävinneet viime vuosina ja häviävät edelleen, kun internetin yleinen levinneisyys kasvaa. Erityisesti mobiilin internetin käyttö on saanut vähemmän koulutetut ja vanhemmat ihmiset käyttämään internetiä.
Kaiken kaikkiaan, kattavuusharha on merkityksellinen vain, jos halutaan tehdä johtopäätöksiä yleisestä väestöstä. eikä vain verkkoväestöä. Tässä tapauksessa sinun pitäisi yrittää selvittää, korreloiko tutkimusaiheesi koulutuksen tai teknisen suuntautuneisuuden kanssa, jotta voit puuttua mahdolliseen vääristymään. Valitettavasti tutkijana et voi tehdä asialle mitään. Jos olet todella huolissasi tietojen laadusta, sinun on valittava toinen tiedonkeruumenetelmä. Kattavuusvinouma ei kuitenkaan ole liian suuri ongelma useimmissa aiheissa ja useimmissa maissa, ja onneksi se on jopa vähenemässä.
Ennen kuin paneelien rekrytointiin syvennytään, meidän on esiteltävä eräs hyvin tärkeä ero. Aina kun valitset ja kutsut paneelin jäseniä aktiivisesti, voit hallita täysin sitä, ketkä osallistuvat paneeliin. Tätä kutsumme aktiiviseksi rekrytoinniksi. Kun taas annat ihmisten tilata paneelin itse, et voi valvoa, kuka paneeliin liittyy. Tätä kutsutaan avoimeksi rekrytoinniksi.
Useimmat paneelit toimivat avoimella rekrytoinnilla, koska se on erittäin kustannustehokas ja mutkaton tapa kasvattaa paneelia. Sillä on kuitenkin selvä haittapuoli. Ensiksikin kyselytutkimuksiin osallistuu pääasiassa ihmisiä, jotka ovat kiinnostuneita osallistumaan kyselyihin, eivätkä he edusta koko väestöä. Toiseksi on lähes mahdotonta pitää paneelista poissa henkilöitä, jotka eivät täytä vaadittuja demografisia tietoja tai jotka eivät muulla tavoin täytä laatuvaatimuksiasi.
Me Norstatilla uskomme aktiivisen rekrytoinnin laatuun, joten meillä ei ole julkista rekisteröitymissivua paneeleihimme. Maissa, joissa meillä on puhelinkeskuksia, valitsemme satunnaisesti ihmisiä väestöstä ja kutsumme heidät puhelimitse mukaan paneeleihimme. Tämä tekee paneeleistamme mahdollisimman edustavia. Kaikissa muissa maissa käytämme hyvin laajaa rekrytointikanavien yhdistelmää, jotta mikään yksittäinen lähde ei vaikuttaisi merkittävästi kokonaislaatuun. Näistä lähteistä tulevat rekisteröijät ohjataan piilotetulle tilaussivulle, joka voidaan sulkea milloin tahansa. Itse asiassa näin tapahtuu aina, kun havaitsemme laatuongelmia tai vilpillistä toimintaa tietystä rekrytointilähteestä. Lopuksi voimme lisätä mitä tahansa väestöryhmää kohdennetulla rekrytoinnilla, jos katsomme, että paneelin rakenne ei ole tasapainoinen.
Lyhyesti sanottuna, jos paneelin tarjoajat kutsuvat paneeliinsa vääriä henkilöitä tai jättävät pois tietyn kohderyhmän, paneeli ei ole edustava. Kaikki tässä vaiheessa tehdyt ponnistelut eivät ehkä näy monille ostajille, mutta ne tekevät varmasti eron laadukkaan tutkimuspaneelin ja epäedustavan postituslistan välillä. Siksi sinun tulisi aina vertailla paneelipalvelujen tarjoajia sen mukaan, miten ne rekrytoivat jäseniä paneeleihinsa. Ja muuten, rekisteröintilomakkeemme ovat 100-prosenttisesti mobiiliystävällisiä, jotta emme sulje mobiilikäyttäjiä pois paneeliimme liittymisestä. Olisit yllättynyt siitä, kuinka monissa paneeleissa tämä ei ole vielä standardi. Palaamme tähän aiheeseen myöhemmin.
Oletetaan, että meillä on nyt edustava verkkopaneeli. Jos ottaisimme satunnaisotoksen paneelin jäsenistä, myös tämä otos olisi edustava. Valitettavasti kaikki jäsenet eivät klikkaa kutsusähköpostin linkkiä. Jotkin ryhmät reagoivat hyvin nopeasti, toiset vaativat enemmän aikaa ja jotkut eivät vastanneet lainkaan. Kenttäjakson lopussa aineisto ei olisi edustava kohdejoukon kannalta, vaikka se olisi ollut alussa täydellinen satunnaisotos.
Vastaamatta jättäminen on vakava ongelma – ei ainoastaan verkkotutkimuksissa vaan kaikissa tiedonkeruumenetelmissä. Mielenkiintoista on, että erityisesti verkkopaneelit saavuttavat tyydyttävän vastausprosentin, koska niiden jäsenet odottavat saavansa kyselykutsuja säännöllisesti. Lisäksi he ovat ajan myötä oppineet, että he voivat luottaa paneelipalveluntarjoajaan yksityisyyden ja tietosuojan osalta. Tämä on luultavasti suurin ero puhelinhaastattelijoiden puheluihin, joita ei ole pyydetty. Verkkotutkimuksessa voit lisäksi yksinkertaisesti pidentää kenttäaikaa ja lähettää muistutuksia vastausprosentin nostamiseksi.
Jos haluat välttää vino jakauma lopullisissa tiedoissasi, sinun on asetettava kiintiöitä. Nämä voivat olla joko pehmeitä kiintiöitä (eli projektipäällikkö pyrkii saavuttamaan halutun jakauman parhaalla mahdollisella tavalla) tai kovia kiintiöitä (eli vastaajat eivät pysty suorittamaan haastattelua loppuun, kun olet kerännyt tarpeeksi palautetta kyseisestä kohderyhmästä). Kolmas vaihtoehto on käyttää painokertoimia yli- tai aliedustettujen alaryhmien huomioon ottamiseksi.
Kaiken kaikkiaan vastaamattomuusharha voi vääristää tuloksia dramaattisesti.. Onneksi Norstatin vastausprosentit ovat keskimääräistä korkeammat, koska keskitymme tiukasti jäsentemme motivaatioon.
Viimeisenä mutta ei vähäisimpänä on puhuttava mobiililaitteista. Jos kyselymallisi ei salli mobiilikäyttäjien vastata kyselyyn, menetät järjestelmällisesti suuren osan väestöstä. Maasta riippuen noin kaksi kolmasosaa väestöstä käyttää internetiä usein älypuhelimella, tabletilla tai tietokoneella. Näin ollen niiden jättämisellä tutkimuksen ulkopuolelle voi olla valtava vaikutus tutkimuksen kokonaislaatuun.
Huomaa, että hyvin usein poissulkemisharha unohdetaan, kun puhutaan edustavuudesta, varsinkin jos et ole ottanut vakavasti tietojen laatua aiemmissa vaiheissa. Jos paneelisi tilaussivu ei ole mobiiliystävällinen, suljet mobiilikäyttäjät järjestelmällisesti pois jo varhaisessa vaiheessa. Jos et käytä responsiivisia sähköpostimalleja tai mobiilisovellusta kutsuessasi paneelin jäseniä, vastausprosentti voi olla pienempi, koska myös mobiilikäyttäjät jäävät pois.
Lyhyesti sanottuna, jos haluat edustavia tuloksia, sinun on varmistettava, että kyselysi soveltuu kaikille laitteille. Meillä Norstatilla on pitkäaikainen kokemus kyselylomakkeiden suunnittelusta, ja käsikirjoitamme mielellämme kyselysi parhaalla mahdollisella tavalla ja kaikille laitteille..
Kuinka edustavaa verkkotutkimus on? Mielestämme se voi olla hyvin edustavaa, kunhan laadusta ei tingitä. Me Norstatilla teemme parhaamme, jotta voimme tarjota asiakkaidemme odottamaa huippuluokkaa. Pyrimme olemaan mahdollisimman avoimia tässä prosessissa, koska meillä ei ole mitään salattavaa.
Mutta voit myös nähdä, että monet asiat voivat mennä pieleen, kun teet verkkotutkimusta paneelien avulla. Tämä ei tarkoita, että muilla menetelmillä olisi enemmän etuja, vaan niiden haasteet ovat vain erilaisia. Verkkotutkimus vaatii joka tapauksessa ammattitaitoista huolellisuutta, jotta se tuottaa luotettavia ja edustavia tuloksia.
Voit vapaasti lähettää meille viestin, jos haluat lisätietoja laatustandardeistamme. Odotamme innolla yhteydenottoja sinuun!
Haluamme olla osa menestystarinaanne.