Mikä otoskoko on edustava?

Mikä tekee otoksesta edustavan?

Aloitetaan tarinalla, josta on itse asiassa tullut markkinatutkimuksen perustava myytti. Vuosisata sitten amerikkalainen The Literary Digest -lehti alkoi tehdä mielipidekyselyjä kymmenen miljoonan lukijansa keskuudessa ennustaakseen presidentinvaalien tuloksia. Viidessä peräkkäisessä vaalissa heidän ennusteensa osuivat täysin oikeaan, kunnes ne epäonnistuivat massiivisesti vuonna 1936, vaikka he tekivät noin 2,4 miljoonaa haastattelua lukijoidensa keskuudessa. Heidän yllätyksekseen George Gallup pystyi ennustamaan vaalien tuloksen oikein “vain” 50 000 haastattelulla.

Mitä sitten tapahtui? Literary Digestin otos epäonnistui, koska sen lukijat eivät edustaneet koko väestöä. Heillä oli erilainen ikärakenne, erilaiset keskitulot – ja ilmeisesti myös erilaiset poliittiset mieltymykset. Päinvastoin, Gallup ymmärsi, että edustavuus ei ole niinkään kiinni otoksen koosta vaan otoksen oikeasta koostumuksesta. Hän yksinkertaisesti käytti kiintiöitä varmistaakseen, että kaikki ihmisryhmät olivat oikein edustettuina hänen otoksessaan. Tämä läpimurto oli lähtökohta nykyiselle markkina- ja mielipidetutkimukselle.

Edustavuuden kannalta tärkeintä ei ole koko vaan oikea koostumus. Mutta onko se uskottavaa? A.C. Nielsen Jr. antoi 1960-luvulla mielenkiintoisen vastauksen niille, jotka uskoivat, että suurempi otoskoko lisäisi otoksen edustavuutta.

“Jos et usko satunnaisnäytteenottoon, pyydä lääkäriä ottamaan kaikki verinäytteet, kun otat seuraavan kerran verikokeen.” “Jos et usko satunnaisnäytteenottoon, pyydä lääkäriä ottamaan kaikki verinäytteet.” – A.C. Nielsen Jr.

Sarkasmista huolimatta tämä sitaatti tarjoaa meille hyvin ymmärrettävän analogian. Ei ole väliä, analysoitko pisaran verta vai koko litran verinäytettä: analyysitulokset ovat aina samat. Yksi veripisara edustaa täydellisesti kaikkea sitä.

Miksi otoskoolla on merkitystä?

Otoskoko on tietenkin edelleen tärkeä. Mutta miksi sillä on merkitystä? Aina kun perusjoukkoa edustava otos muodostetaan, jotkin kohdemuuttujat voivat sattumalta olla otoksessa yli- tai aliedustettuina. Valitettavasti “sattumalta” tarkoittaa sitä, että sille ei voi tehdä mitään, kun tietoja kerätään.

Tilastolliset laskelmat voivat ainakin auttaa sinua arvioimaan todennäköisyyttä, että virheesi on tietyn marginaalin sisällä, esimerkiksi että poikkeamat todellisesta arvosta ovat alle x prosenttia 95 prosentin luotettavuustasolla.

• Mielipidetutkijoille 95 prosentin luottamustaso on yleisin vaihtoehto. Tällöin riskisi on alle 5 %, että todellinen arvo on vastaavan virhemarginaalin ulkopuolella. Muilla tieteenaloilla 99 prosentin luotettavuustaso saattaa kuitenkin olla standardi (esim. lääketeollisuudessa, koska tilastovirheissä voi olla kyse elämästä ja kuolemasta).
• Luottamustason perusteella voit laskea virhemarginaalin jokaiselle jakauman arvolle. Oletetaan, että tutkimustuloksesi antaa 50 prosentin markkinaosuuden ja vastaava virhemarginaali on 3 prosenttia (95 prosentin tasolla), jolloin riskisi on alle 5 prosenttia siitä, että todellinen markkinaosuus on pienempi kuin 47 prosenttia tai suurempi kuin 53 prosenttia.

Jos virhemarginaalia halutaan pienentää (tietyllä luottamustasolla), on periaatteessa vain yksi vaihtoehto: otoskokoa on kasvatettava.

Miten päättää otoskoko?

Otoksen koon määrittämiseksi on usein aloitettava loppupäästä ja kuljettava taaksepäin alkuun. Selkeyden vuoksi käymme kuitenkin lyhyesti läpi haastatteluprosessin oikeassa järjestyksessä ja selitämme, millaisia lopullisia statuksia vastaaja voi saada.

Kaikki alkaa kutsujen lähettämisestä paneelin jäsenille. Kaikista kutsutuista vain osa todella klikkaa linkkiä ja aloittaa kyselyn. Tätä kuvaamme vastausprosentilla (vastausten prosenttiosuus suhteessa osallistumiskutsujen kokonaismäärään). Lisäksi tutkimuksen alussa on yleensä joitakin seulontakysymyksiä halutun kohderyhmän tunnistamiseksi. Tässä vaiheessa tukikelpoisten vastaajien prosenttiosuus heijastuu ilmaantuvuusasteeseen (niiden henkilöiden prosenttiosuus kohdejoukossa, jotka täyttävät tietyt tutkimukseen vaaditut kriteerit). Kun olemme varmistaneet oikean kohderyhmän, arvioimme mahdolliset kiintiöt ja lopetamme haastattelun niiden vastaajien osalta, joiden kiintiöt on jo täytetty. Kiintiöt arvioidaan yleensä seulan jälkeen, jotta voimme varmistaa, että voimme mitata oikean esiintyvyyden ilman kiintiöiden vaikutusta. Jos vastaajat kuuluvat avoimeen kiintiöön, he voivat osallistua päätutkimukseen. Jotkut saattavat kuitenkin keskeytyä haastattelun aikana eivätkä koskaan pääse loppusivulle. Lopuksi tutkimuksen loppuun asti päässeet haastattelut lasketaan loppuun suoritetuiksi haastatteluiksi.

Katkaisut

Kuten aiemmin mainittiin, toteutettavuuden määrittäminen alkaa vaaditusta valmiiden haastattelujen määrästä, minkä jälkeen on laskettava taaksepäin tarvittava määrä kutsuja. Oletetaan siis, että teemme tutkimusta, joka edellyttää yhteensä 1 000 haastattelua. Ensimmäisessä vaiheessa arvioidaan päähaastattelun aikana tapahtuvien keskeytysten määrä (joita kutsutaan myös “keskeyttäneiksi”, “osittaisiksi” tai “hylätyiksi”).

Mikä on siis järkevä oletus katkeamisprosentista? Se riippuu pääasiassa itse tutkimuksesta. Jos kyselylomake on pitkä, toistuva tai jos se koskee aihetta, joka ei ole vastaajien kannalta kovin merkityksellinen, keskeytyksiä on odotettavissa enemmän. Mutta myös teknologialla on tärkeä rooli. Jos kysely perustuu vanhentuneeseen tekniikkaan (esim. Flash) tai jos se ei ole mobiiliystävällinen (esim. responsiivinen), käyttäjien voi olla vaikea täyttää kyselyä. Kokeneet projektipäällikkömme auttavat sinua mielellään optimoimaan kyselylomakkeen, jotta keskeytysten määrä olisi mahdollisimman pieni!

Oletetaan, että esimerkissämme keskeyttämisprosentti on 2 %, mikä tarkoittaa, että tarvitsemme 1020 vastaajaa, jotka aloittavat päähaastattelun.

Kiintiö epäonnistuu

Seuraavassa vaiheessa on arvioitava kiintiöiden epäonnistumisen määrä, mikä on usein haastavin tehtävä ja edellyttää kokenutta projektipäällikköä.

Kiintiöiden määritelmät voivat olla varsin monimutkaisia. Ne voivat sisältää lukuisia muuttujia, ne voivat olla toisiinsa kytkeytyviä tai ei-kytkeytyviä, ja joskus vastaajat jopa osoitetaan niihin sattumalta (ajatelkaa monadisia testejä). Teoriassa paneelin jäsenten profiileissa käytettävissä olevien muuttujien pitäisi auttaa meitä kutsumaan vain oikeat osallistujat ja välttämään kiintiöiden rikkomiset. Käytännössä tämä ei kuitenkaan ole aina mahdollista. Meillä ei välttämättä ole aina käytettävissämme kaikkia vaadittuja profiileja, ja jos kenttäaika on liian lyhyt, meillä ei välttämättä ole mahdollisuutta täyttää eri kiintiöitä asteittain ja huolellisesti.

Yhteenvetona voidaan todeta, että kiintiöiden epäonnistuminen on lähes väistämätöntä useimmissa tapauksissa. Niiden laajuus riippuu paljon tutkimuksen määrittelyistä (esim. kiintiösuunnitelma, kenttäaika), mutta myös projektipäällikön kokemuksesta. Kaikkien tarjousten täyttäminen määräajassa ja paneelin säilyttäminen voi olla merkittävä haaste, ja se erottaa kokeneet näytteenottajat kokemattomista.

Oletetaan, että esimerkissämme 20 prosentin kiintiö ei täyty, joten tarvitsemme 1276 seulottua vastaajaa, mukaan lukien keskeytetyt vastaajat.

Näytön poistot

Seulontojen määrän arvioiminen on suhteellisen helppoa, koska esiintyvyys on yleensä osa ehdotusta. Tämän esiintyvyysasteen pitäisi mieluiten vastata seulan läpi päässeiden vastaajien osuutta, ja se on yleensä riippumaton muista tekijöistä.

Oletetaan, että esimerkissämme esiintymisaste on 50 prosenttia, jolloin tarvittava määrä on 2 552 aloittajaa.

Vastausprosentti

Laskelmamme viimeinen vaihe on vastaus kysymykseen, kuinka monta jäsentä meidän on kutsuttava, jotta saamme 2552 aloittajaa. Vastausprosentti riippuu hieman ulkoisista tekijöistä (kuten päivä, arkipäivä, sää, lomakausi jne.). Lisäksi myös paneelin laadulla on merkitystä, ja viimeisenä mutta ei vähäisimpänä itse tutkimuksen parametrit: jos kysely soveltuu mobiililaitteille, voimme lähettää kutsun paneelisovellukseemme ja siten lisätä vastausprosenttia.

Jos sanotaan, että esimerkissämme se on 45 prosenttia, tarvitsemme 5669 otoksen kokonaiskokoa. Tämä on vähimmäismäärä, joka tarvitaan tämän esimerkkitutkimuksen vaatimusten täyttämiseksi. Mutta kuten paneelikirjastamme näet, jopa pienin verkkopaneelimme on riittävän suuri tällaisen tutkimuksen toteuttamiseen.

Kuinka hyvä on tarpeeksi hyvä?

Tämä johtaa meidät hyvin tärkeään liiketoimintakysymykseen: Kuinka hyvä on riittävän hyvä? Siihen ei varmasti ole mitään yleistä vastausta, mutta haluaisimme keskustella kolmesta skenaariosta havainnollistamaan mahdollisia tapoja ajatella asiaa:

• Konseptitesti: Oletetaan, että yrityksellä on kaksi vaihtoehtoa mainoskampanjaa varten. Mutta kumpi toimii paremmin? Sinun pitäisi vain tunnistaa voittaja ja lähteä sen mukaan! Jos oletetaan, että tulos ei ole liian tiukka, noin 500 haastattelua voi riittää (mikä vastaa 4,3 prosentin marginaalia 95 prosentin tasolla – parhaan vaihtoehdon pitäisi siis johtaa vähintään 9 prosentin marginaalilla).
• Vaalitutkimus: Kun ennustat poliittisten puolueiden suosiota vaaleissa, olet luultavasti kiinnostunut muustakin kuin yksittäisistä arvioista. Mietitte, mitkä puolueet voisivat muodostaa koalition saadakseen enemmistön. Jos on kaksi puoluetta, joilla kummallakin on 3 prosentin virhemarginaali, ennustaminen on melko vaikeaa, varsinkin jos tuloksesta odotetaan tiukkaa. Tällöin otoskokoa on kasvatettava virhemarginaalin pienentämiseksi.
• Alaryhmät: Hyvin usein otoksen alaryhmiä halutaan analysoida kokonaistilastojen lisäksi: Keitä nämä suurkäyttäjät tarkalleen ottaen ovat? Miten miehet eroavat naisista? Millaisia tuotteita tietyn lehden lukijat suosivat? Jos käytät vain pienempää osajoukkoa pääotoksestasi, myös myöhempää analyysia varten käytettävissä olevien haastattelujen määrä vähenee. Myös tässä tapauksessa sinun pitäisi työskennellä suuremmalla otoskoolla.

Loppujen lopuksi taito on saada riittävästi haastatteluja, joiden perusteella voi tehdä luotettavia johtopäätöksiä, ja silti kenttätyön kokonaiskustannukset ovat kohtuulliset.

Yhteenveto

Kuinka monta haastattelua suositellaan edustavien tulosten saamiseksi? Tähän kysymykseen ei yksinkertaisesti voida vastata. Voit saada pieniä otoksia, jotka ovat hyvin edustavia, ja suuria otoksia, jotka eivät ole lainkaan edustavia (hyvin usein: “Big Data”).

• Edustavuudessa on kyse otoksen oikeasta koostumuksesta. Se osoittaa, antaako näytteesi oikean kuvan todellisuudesta. Jos se on hieman epätarkka, voit silti hahmottaa kokonaiskuvan oikein.
• Näytteen koko määrittää , kuinka selvästi se näkyy. Jos otoksesi ei ole edustava, voit nähdä sen hyvin selvästi suuren koon avulla – mutta se on väärä kuva, totuuden vääristymä.