Kas padara izlasi reprezentatīvu?

Sāksim ar stāstu, kas faktiski ir kļuvis par tirgus izpētes pamatmītu. Pirms gadsimta amerikāņu žurnāls The Literary Digest sāka veikt sabiedriskās domas aptaujas starp desmit miljoniem lasītāju, lai prognozētu prezidenta vēlēšanu rezultātus. Piecās vēlēšanās pēc kārtas viņu prognozes bija absolūti pareizas, līdz 1936. gadā tās piedzīvoja milzīgu neveiksmi, lai gan viņi veica aptuveni 2,4 miljonus interviju starp saviem lasītājiem. Viņu pārsteigumam, Džordžs Gallups spēja pareizi prognozēt šo vēlēšanu iznākumu ar “tikai” 50 000 interviju palīdzību.

Kas notika? Literary Digest izlase bija neveiksmīga, jo tās lasītāji nebija reprezentatīvi attiecībā pret populāciju. Tiem bija atšķirīga vecuma struktūra, atšķirīgi vidējie ienākumi un, acīmredzot, arī atšķirīgas politiskās preferences. Gluži pretēji, Gallup saprata, ka reprezentativitāte ir atkarīga ne tik daudz no izlases lieluma, bet gan no izlases struktūras. Viņš vienkārši izmantoja kvotas, lai pārliecinātos, ka izlasē ir pareizi pārstāvētas visas iedzīvotāju grupas. Šis izšķirošais atklājums bija sākumpunkts tirgus un sabiedriskās domas izpētei, kādu mēs to pazīstam šodien.

Reprezentativitātei nav svarīgs izmērs, bet gan pareizā izlases struktūra. Bet vai tas ir ticams? 20. gadsimta 60. gados A. K. Nīlsens Jr. sniedza interesantu atbildi tiem, kuri uzskatīja, ka lielāks izlases lielums palielinās tās reprezentativitāti.

“Ja neticat nejaušai paraugu ņemšanai, nākamreiz, kad jums veiks asins analīzi, pasakiet ārstam, lai ņem visu.” – A. K. Nīlsens Jr.

Neraugoties uz nenoliedzamo sarkasmu, šis citāts sniedz mums ļoti saprotamu analoģiju. Nav svarīgi, vai analizējat pilienu asiņu vai veselu litru asiņu – analīzes rezultāti vienmēr būs vienādi. Viens asins piliens lieliski atspoguļo to visu.

Kādēļ izlases lielumam ir nozīme?

Protams, izlases lielums joprojām ir svarīgs. Bet kāpēc tieši tas ir svarīgi? Ja jums ir reprezentatīva populācijas izlase, nejaušības dēļ dažas grupas var būt pārāk vai nepietiekami pārstāvētas jūsu izlasē. Diemžēl “nejaušība” nozīmē, ka, vācot datus, jūs neko nevarat darīt.

Vismaz statistiskie aprēķini var palīdzēt jums novērtēt varbūtību, ka jūsu kļūda ir noteiktās robežās, piemēram, ka šādas novirzes no reālās vērtības ir mazākas par x% pie 95% ticamības līmeņa.

• Viedokļu pētniekiem visizplatītākais variants ir 95 % ticamības līmenis. Šajā gadījumā risks, ka reālā vērtība ir ārpus attiecīgās kļūdas robežas, ir mazāks par 5 %. Tomēr citās disciplīnās 99% ticamības līmenis varētu būt standarts (piemēram, farmācijas nozarē, jo statistiskās kļūdas var būt dzīvības un nāves jautājums).
• Ņemot vērā ticamības līmeni, varat aprēķināt kļūdas robežu katrai sadalījuma vērtībai. Pieņemsim, ka jūsu pētījuma rezultāts ir 50 % tirgus daļa un atbilstošā kļūdas robeža ir 3 % (95 % līmenī), tad jūsu risks ir mazāks par 5%, ka reālā tirgus daļa ir mazāka par 47 % vai lielāka par 53 %.

Ja vēlaties samazināt kļūdas robežu (ņemot vērā noteiktu ticamības līmeni), jums būtībā ir tikai viena izvēle: jums ir jāpalielina izlases lielums.

Kā noteikt izlases lielumu?

Lai noteiktu izlases lielumu, bieži vien ir jāsāk no beigām un jāstrādā atpakaļ uz sākumu. Tomēr skaidrības labad īsi iepazīstināsim jūs ar intervēšanas procesu pareizā secībā un izskaidrosim, kādus galīgos statusus respondents var iegūt.

Viss sākas ar ielūgumu nosūtīšanu mūsu paneļa dalībniekiem. No visiem uzaicinātajiem lietotājiem tikai daļa patiešām noklikšķinās uz saites un sāks aptauju. To mēs raksturojam ar atbildētības rādītāju (procentuālais atbilžu īpatsvars attiecībā pret kopējo ielūgumu skaitu). Turklāt aptaujas sākumā parasti tiek uzdoti daži atlases jautājumi, lai noteiktu vēlamo mērķa grupu. Šajā posmā atbilstīgo respondentu procentuālā daļa atspoguļojas biežuma rādītājā (procentuālā daļa, kas atbilst konkrētiem pētījumam nepieciešamajiem kritērijiem). Pēc tam, kad būsim pārliecinājušies par pareizo mērķa grupu, izvērtēsim iespējamās kvotas un pabeigsim interviju ar tiem respondentiem, kuru kvotas jau ir aizpildītas. Kvotas parasti novērtē pēc atlases jautājumiem, lai pārliecinātos, ka mēs varam izmērīt pareizo biežuma rādītāju bez kvotu iejaukšanās. Ja respondenti atbilst atvērtai kvotai, viņi var piedalīties galvenajā aptaujā. Tomēr daži no viņiem intervijas laikā var pārtraukt interviju un nekad nesasniegt beigu lapu. Visbeidzot, tie, kas sasniegs aptaujas beigas, tiks uzskatīti par pabeigtām intervijām.

Nepabeigtas aptaujas

Kā jau minēts iepriekš, iespējamības noteikšanas process sākas ar nepieciešamo interviju skaitu un tad ietver sevī soļu speršanu atpakaļ, lai aprēķinātu nepieciešamo ielūgumu skaitu. Pieņemsim, ka mēs veicam pētījumu, kurā kopumā nepieciešamas 1000 intervijas. Pirmais solis ir aplēst, cik daudz interviju pārtrauc galvenās intervijas laikā.

Tātad, kāds ir saprātīgs pieņēmums par pārtraukšanas koeficientu? Tas galvenokārt ir atkarīgs no pašas aptaujas. Ja anketa ir gara, atkārtojas vai ir par tematu, kas respondentiem nav pārāk aktuāls, var sagaidīt vairāk atteikumu. Taču liela nozīme ir arī tehnoloģijām. Ja apsekojums balstās uz novecojušu tehnoloģiju (piemēram, Flash) vai nav piemērots mobilajām ierīcēm (piemēram, nav responsīvs), lietotājiem var būt grūti aizpildīt aptauju. Mūsu pieredzējušie projektu vadītāji ar prieku palīdzēs jums optimizēt jūsu anketu, lai pēc iespējas samazinātu pārtraukto interviju skaitu!

Pieņemsim, ka mūsu piemērā izkritušo respondentu īpatsvars ir 2%, tas nozīmē, ka mums būs nepieciešami 1020 respondenti, kas uzsāks galveno interviju.

Kvotu neizpildīšanās

Nākamais solis ir aplēst neizpildītās kvotas apjomu, kas bieži vien ir visgrūtākais uzdevums un prasa pieredzējušu projekta vadītāju.

Kvotu definīcijas var būt diezgan sarežģītas. Tie var ietvert daudzus mainīgos lielumus, tie var būt savstarpēji saistīti vai nesaistīti, un dažkārt respondenti tiem tiek piešķirti nejauši (padomājiet par monādiskajiem testiem). Teorētiski mūsu paneļa dalībnieku profilu pieejamajiem mainīgajiem lielumiem būtu jāpalīdz mums uzaicināt tikai pareizos dalībniekus un izvairīties no kvotu neizpildīšanās. Tomēr praksē tas ne vienmēr ir iespējams. Mums ne vienmēr var būt pieejami visi nepieciešamie profili, un, ja lauka periods ir pārāk īss, mums var nebūt iespējas pakāpeniski un rūpīgi izpildīt dažādas kvotas.

Rezumējot var secināt, ka lielākajā daļā gadījumu kvotu neizpildīšanās ir gandrīz neizbēgama. To apjoms lielā mērā ir atkarīgs no pētījuma specifikācijām (t. i., kvotu plāns, lauka periods), kā arī no projekta vadītāja pieredzes. Veiksmīgi izpildīt visus pieprasījumus noteiktajā termiņā, vienlaikus uzturot paneli, var būt ievērojams izaicinājums, un tas atšķir pieredzējušus izlases veidotājus no nepieredzējušiem.

Pieņemsim, ka mūsu piemērā kvota neizpildās par 20%, tātad mums būs nepieciešami 1276 pārbaudītie respondenti, ieskaitot pārtrauktos respondentus.

Neatbilstība mērķa grupai

Novērtēt neatbilstību mērķa grupai ir salīdzinoši viegli, jo parasti daļa no piedāvājuma ir biežuma rādītājs. Šim sastopamības rādītājam ideālā gadījumā vajadzētu būt vienādam ar to respondentu īpatsvaru, kuri atbilst atlases jautājumiem, un parasti tas nav atkarīgs no citiem faktoriem.

Pieņemsim, ka mūsu piemērā sastopamības rādītājs ir 50 %, tātad nepieciešamais skaits ir 2552 aptaujas uzsācēji.

Atbildētības rādītājs

Pēdējais solis mūsu aprēķinos ir atbilde uz jautājumu, cik daudz dalībnieku mums būs jāuzaicina, lai iegūtu 2552 aptaujas uzsācējus. Atbildētības rādītājs ir nedaudz atkarīgs no ārējiem faktoriem (piemēram, dienas laiks, darba diena, laikapstākļi, brīvdienu sezona u. c.). Turklāt liela nozīme ir arī paneļa kvalitātei un, visbeidzot, bet ne mazāk svarīgi, paša pētījuma parametriem: ja aptauja ir piemērota mobilajām ierīcēm, mēs varam nosūtīt uzaicinājumu uz mūsu paneļa lietotni un tādējādi palielināt atbilžu skaitu.

Ja mūsu piemērā tas ir 45%, tad kopējais izlases lielums būtu 5669. Tas ir minimālais daudzums, kas nepieciešams, lai izpildītu šī piemēra pētījuma specifikācijas. Taču, kā redzēsiet mūsu paneļa grāmatā, pat mūsu mazākais tiešsaistes panelis ir pietiekami liels, lai veiktu šāda veida pētījumu.

Cik labs ir pietiekami labs?

Tas noved mūs pie ļoti svarīga biznesa jautājuma: Cik labs ir pietiekami labs? Vispārīgas atbildes uz šo jautājumu noteikti nav, taču mēs vēlamies apspriest trīs scenārijus, lai ilustrētu iespējamos domāšanas veidus par šo jautājumu:

• Koncepta tests: Pieņemsim, ka uzņēmumam ir divas alternatīvas reklāmas kampaņai. Bet kura no tām darbojas labāk? Jums tikai jānosaka uzvarētājs un jāiet ar to uz priekšu! Pieņemot, ka rezultāti nav pārāk vienādi, var pietikt ar aptuveni 500 intervijām (kas atbilst 4,3 % kļūdas robežai 95 % līmenī – tātad labākajam variantam vajadzētu būt vadošajam ar vismaz 9 %).
• Vēlēšanu izpēte: Prognozējot politisko partiju popularitāti vēlēšanās, jūs, iespējams, interesē ne tikai individuālie reitingi. Jūs interesēs, kuras partijas varētu izveidot koalīciju, lai iegūtu vairākumu. Ja jums ir divas partijas ar 3 % kļūdu robežu katrai, būs diezgan grūti prognozēt, jo īpaši, ja iznākums ir gaidāms saspringts. Šādā gadījumā ir jāpalielina izlases lielums, lai samazinātu kļūdas robežu.
• Apakšgrupas: Ļoti bieži papildus kopējai statistikai vēlaties analizēt arī izlases apakšgrupas. Kas tieši ir šie aktīvie lietotāji? Ar ko vīrieši atšķiras no sievietēm? Kādus produktus izvēlas konkrēta žurnāla lasītāji? Ja izmantosiet tikai mazāku apakšgrupu no galvenās izlases, samazināsies arī turpmākai analīzei pieejamo interviju skaits. Šādā gadījumā jums arī jāstrādā ar lielāku izlases lielumu.

Galu galā māksla ir iegūt pietiekamu interviju skaitu, kas ļauj izdarīt ticamus secinājumus, un vienlaikus ievērot saprātīgas kopējās lauka darba izmaksas.

Kopsavilkums

Cik interviju ieteicams veikt, lai iegūtu reprezentatīvus rezultātus? Uz šo jautājumu vienkārši nevar atbildēt. Var būt mazas izlases, kas ir ļoti reprezentatīvas, un lielas izlases, kas vispār nav reprezentatīvas (ļoti bieži: “lielie dati”).

• Reprezentativitāte ir saistīta ar pareizo izlases struktūru. Tā norāda, vai jūsu izlase sniedz pareizu priekšstatu par realitāti. Ja tas ir nedaudz neskaidrs, tas joprojām ļaus jums pareizi uztvert kopējo attēlu.
• Izlases lielums nosaka, cik skaidri tas ir redzams. Ja jūsu izlase nav reprezentatīva, liels izlases lielums ļaus jums to redzēt ļoti skaidri, taču tas būs nepatiess priekšstats, patiesības izkropļojums.