Mis teeb valimi esinduslikuks?

Alustame looga, millest on tegelikult saanud turu-uuringute alusmüüt. Sajand tagasi hakkas Ameerika ajakiri The Literary Digest korraldama oma kümne miljoni lugeja seas arvamusküsitlusi, et ennustada presidendivalimiste tulemusi. Viiel järjestikusel valimisel olid nende ennustused täiesti õiged. Kuid 1936. aastal kukkusid nad massiliselt läbi, isegi kui viisid oma lugejate seas läbi 2,4 miljonit intervjuud. Nende üllatuseks suutis George Gallup “ainult” 50 000 intervjuu abil valimiste tulemuse õigesti ennustada.

Kuid mis juhtus? Literary Digesti valim ebaõnnestus, sest nende lugejad ei esindanud üldpopulatsiooni. Neil oli erinev vanuseline struktuur, erinev keskmine sissetulek ja ilmselt ka erinevad poliitilised eelistused. Vastupidi, Gallup mõistis, et esinduslikkus ei sõltu mitte niivõrd valimi suurusest, vaid valimi õigest koosseisust. Ta kasutas kvoote, et tagada, et iga inimrühm oleks oma valimis õigesti esindatud. See läbimurdeline avastus oli lähtepunkt tänapäevasele turu ja arvamuste uurimisele.

Esinduslikkuse seisukohalt ei ole oluline mitte suurus, vaid õige kooslus. Kuid kas see on usaldusväärne? 1960. aastatel andis A.C. Nielsen Jr. huvitava vastuse neile, kes uskusid, et suurem valim suurendaks selle representatiivsust.

“Kui te ei usu juhuslikku proovivõtmist, siis järgmine kord, kui teil on vereanalüüs, öelge arstile, et ta võtaks kogu teie vere.” – A.C. Nielsen Jr.

Vaatamata vaieldamatule sarkasmile pakub see tsitaat meile väga arusaadavat analoogiat. Ei ole oluline, kas te analüüsite tilka verd või võtate terve liitri verd: analüüsi tulemused on alati samad. Üks tilk verd esindab analüüsi tulemusi ideaalselt.

Miks on valimi suurus oluline?

Loomulikult on valimi suurus endiselt oluline. Aga miks täpsemalt on see oluline? Alati, kui teil on populatsiooni esinduslik valim, võivad mõned sihtmuutujad (sihtrühma esindajad) olla juhuslikult teie valimis üle- või alaesindatud. Kahjuks tähendab “juhuslikult”, et andmete kogumisel ei ole selle osas tõesti võimalik midagi teha.

Statistilised arvutused aitavad teil vähemalt hinnata tõenäosust, et teie viga jääb teatud piiridesse – näiteks, et sellised kõrvalekalded tegelikust väärtusest on 95% usaldusnivool väiksemad kui x%.

• Arvamusuurijate jaoks on kõige tavalisem valik 95% usaldusnivoo 95%. Sellisel juhul on teie risk vähem kui 5%, et tegelik väärtus jääb väljapoole vastavat veamäära. Teistel erialadel võib aga 99%-line usaldusnivoo olla standardiks (nt farmaatsiatööstuses, kuna statistilised vead võivad olla elu ja surma küsimus).
• Võttes arvesse usaldusnivoo, saate arvutada veamäära iga jaotuse väärtuse jaoks. Oletame, et teie uuringu tulemus annab teile 50% turuosa ja teie vastav veamäär on 3% (95% tasemel), siis on teie risk, et tegelik turuosa on väiksem kui 47% või suurem kui 53%, väiksem kui 5%.

Kui soovite vähendada veamäära (teatud usaldusnivoo puhul), on teil põhimõtteliselt ainult üks valik: te peate suurendama valimi suurust.

Kuidas otsustada, milline peaks olema valimi suurus?

Valimi suuruse määramiseks on sageli vaja alustada lõpust, liikudes tagantpoolt ettepoole. Selguse huvides käime siiski lühidalt läbi intervjuu protsessi õiges järjekorras ja selgitame, millise lõpliku staatuse vastaja võib saada.

Kõik algab kutsete saatmisega paneeli liikmetele. Kõigist kutsututest klikib ainult teatud osa tegelikult lingile ja alustab küsitlust. Seda kirjeldame me vastamismääraga (vastuste protsentuaalne osakaal võrreldes osalema kutsutud isikute koguarvuga). Lisaks sellele on meil uuringu alguses tavaliselt mõned sõelumisküsimused, et tuvastada soovitud sihtrühm. Sobivate vastajate osakaal selles etapis kajastub esinemissageduse määras (sihtpopulatsiooni kuuluvate isikute osakaal, kes vastavad uuringuks vajalikele konkreetsetele kriteeriumidele). Pärast seda, kui oleme veendunud, et sihtrühm on õige, hindame võimalikke kvoote ja lõpetame intervjuu nende vastajate puhul, kelle kvoodid on juba täidetud. Kvoote hinnatakse tavaliselt pärast sõelumist, et veenduda, et saame mõõta õiget esinemissagedust ilma kvootide mõjutamiseta. Kui vastajad kuuluvad avatud kvoodi alla, saavad nad osaleda põhiküsitluses. Sellest hoolimata võib mõni intervjuu katkestada ning ei jõua seega kunagi lõpp-lehele. Lõpuks loetakse need, kes jõuavad uuringu lõpuni, lõpetatud intervjuudeks.

Katkestused

Nagu eespool mainitud, algab teostatavuse määramise protsess vajalike intervjuude arvust, mille järgneb vajaliku kutsete arvu väljaselgitamine. Oletame, et me teeme uuringu, mille jaoks on vaja teha 1000 intervjuud. Esimene samm on põhiintervjuu osas katkestavate vastajate arvu hindamine.

Milline on seega mõistlik eeldus katkestamise määra kohta? See sõltub peamiselt uuringust endast. Kui küsimustik on pikk, korduv või käsitleb teemat, mis ei ole vastajate jaoks asjakohane, võib oodata rohkem katkestusi. Kuid ka tehnoloogia mängib olulist rolli. Kui küsitlus tugineb vananenud tehnoloogiale või ei ole mobiilisõbralik, võib kasutajatel olla raske küsitlust täita. Meie kogenud projektijuhid aitavad teil hea meelega optimeerida teie küsimustikku, et hoida katkestuste arv võimalikult väike!

Oletame, et meie näites on väljalangevus 2%, mis tähendab, et meil on vaja 1020 vastajat, kes alustavad põhiintervjuud.

Kvoodi puudujäägid

Järgmine samm hõlmab kvoodi puudujääkide suuruse hindamist, mis on sageli kõige keerulisem ülesanne ja nõuab kogenud projektijuhti.

Kvootide määratlused võivad olla üsna keerulised. Need võivad sisaldada mitmeid muutujaid, võivad olla omavahel seotud või mitteühenduvad ning mõnikord määratakse vastajad neile juhuslikult (monadic tests). Teoreetiliselt peaksid meie paneeli liikmete profiilide olemasolevad näitajad aitama meil kutsuda ainult õigeid osalejaid ja vältida seeläbi kvoodi puudujääke. Praktikas ei ole see siiski alati võimalik. Meil ei pruugi alati olla ligipääsu kõigile nõutavatele profiilidele ja kui välitöö periood on liiga lühike, ei pruugi meil olla võimalust järk-järgult ja hoolikalt täita erinevaid kvoote.

Kokkuvõttes on kvootide puudujääk enamikul juhtudel peaaegu vältimatu. Nende ulatus sõltub suuresti uuringu spetsiifikast (nt kvoodiplaan, välitöö periood), aga ka projektijuhi kogemusest. Kõikide hinnapakkumiste edukas täitmine ettenähtud aja jooksul, säilitades samal ajal paneeli, võib kujutada endast märkimisväärset väljakutset ja see eristab kogenud valimi koostajad kogenematutest.

Eeldame, et meie näites ebaõnnestub 20% kvoot, seega vajame 1276 sõelutud vastajat, kaasa arvatud katkestajad.

Uuringust väljalangemine

Väljalangemiste hulga hindamine on suhteliselt lihtne, kuna esinemissageduse määr on tavaliselt osa taotlusest. Esinemissagedus peaks ideaaljuhul olema võrdne nende vastajate osakaaluga, kes läbivad sõelumise, olles tavaliselt sõltumatu mis tahes muudest teguritest.

Oletame, et meie näite puhul on esinemissagedus 50%, mis annab meile vajalikud 2552 uuringu alustajat.

Vastamismäär

Viimane samm meie arvutustes on vastus küsimusele, mitu liiget me peame kutsuma, et saada 2552 alustajat. Vastamismäär sõltub teatud määral välistest teguritest (näiteks kellaaeg, nädalapäev, ilm, pühad jne). Lisaks sellele mängib rolli ka paneeli kvaliteet. Viimasena, kuid mitte vähem tähtsana, on oluline uuringu enda parameetrid: kui uuring sobib mobiilseadmete jaoks, saame kutsed edastada meie paneelirakendusse, seeläbi suurendades vastamismäära.

Kui ütleme, et meie näite puhul on see 45%, siis peab olema valimi suurus 5669. See on minimaalne kogus, mis on vajalik esindusliku uuringu spetsifikatsioonide täitmiseks. Kuid nagu te näete meie paneeli raamatust, on isegi meie väikseim veebipaneel piisavalt suur, et sellist uuringut läbi viia.

Kui hea on piisavalt hea?

See viib meid väga olulise äriküsimuse juurde: Kui hea on piisavalt hea? Kindlasti ei ole sellele üldist vastust, kuid me tahaksime käsitleda kolme stsenaariumi, illustreerimaks võimalikke mõtteviise:

• Kontseptsiooni test: Oletame, et ettevõttel on reklaamikampaania jaoks kaks alternatiivi. Kuid kumb töötab paremini? Peaksite lihtsalt parima valiku kindlaks tegema ja sellega edasi minema! Eeldades, et tulemus ei ole väga tasavägine, võib piisata umbes 500 intervjuust (mis vastab 4,3% määrale 95% tasemel – seega peaks parim variant juhtima vähemalt 9%-ga).
• Valimisuuringud: Kui prognoosite erakondade populaarsust valimistel, olete tõenäoliselt huvitatud enamast kui üksikutest reitingutest. Teie eesmägiks oleks mõista, millised erakonnad võiksid moodustada koalitsiooni, et saada enamus. Kui teil on kaks osapoolt, kelle mõlema veamarginaal on 3%, siis on seda üsna raske ennustada, eriti kui tulemus on eeldatavalt tasavägine. Sellisel juhul peaksite veamäära vähendamiseks suurendama valimi suurust.
• Alarühmad: Väga sageli soovite lisaks üldisele statistikale analüüsida oma valimi alarühmi: Kes on need kasutajad täpsemalt? Mille poolest erinevad mehed naistest? Milliseid tooteid eelistavad teatud ajakirja lugejad? Kui kasutate vaid väiksemat osa oma põhivalimist, väheneb ka hilisemaks analüüsiks kasutatavate intervjuude arv. Ka sel juhul peaksite töötama suurema valimi suurusega.

Lõppkokkuvõttes seisneb kõik selles, et teil oleks piisavalt palju intervjuusid, mis võimaldavad teha usaldusväärseid järeldusi, jäädes välitööde üldkulusid arvestades mõistlikuks.

Kokkuvõte

Seega, kui palju intervjuusid soovitatakse teha, et saada esinduslikke tulemusi? Sellele küsimusele ei saa lihtsalt ja üheselt vastata. Teil võivad olla väikesed valimid, mis on väga representatiivsed, ja suured valimid, mis ei ole üldse representatiivsed (väga sageli: “suurandmed”).

• Esinduslikkus sõltub teie valimi õigest koosseisust. See näitab, kas teie valim annab teile realistliku pildi tegelikkusest. Isegi kui see on veidi hägune, võimaldab see siiski mõista, milline on suur pilt.
• Valimi suurus määrab, kui selgelt on võimalik näha ja mõista. Kui teie valim ei ole esinduslik, võimaldab suur suurus küll väga selgelt näha. Kuid antud olukorras on see vale arusaam tegelikkusest ning seega tõe väärkajastus.