Jaká velikost vzorku je reprezentativní?

Co činí vzorek reprezentativním?

Začněme příběhem, který se vlastně stal zakládajícím mýtem průzkumu trhu. Před sto lety začal americký časopis The Literary Digest provádět průzkumy veřejného mínění mezi svými deseti miliony čtenářů, aby předpověděl výsledky prezidentských voleb. V pěti po sobě jdoucích volbách se jejich předpovědi naprosto naplnily, až do roku 1936, kdy se však masivně zmýlili, a to i přesto, že mezi svými čtenáři provedli asi 2,4 milionu rozhovorů. K jejich překvapení dokázal George Gallup správně předpovědět výsledek těchto voleb na základě „pouhých“ 50 000 rozhovorů.

Co se tedy stalo? Vzorek časopisu Literary Digest selhal, protože jeho čtenáři nebyli reprezentativní pro celkovou populaci. Měli odlišnou věkovou strukturu, odlišný průměrný příjem – a zřejmě i odlišné politické preference. Naopak společnost Gallup pochopila, že reprezentativnost nespočívá ani tak ve velikosti vzorku, ale závisí na jeho správném složení. Jednoduše použil kvóty, aby zajistil, že každá skupina lidí bude ve vzorku správně zastoupena. Tento průlomový objev byl výchozím bodem pro výzkum trhu a veřejného mínění, jak jej známe dnes.

Pro reprezentativitu není rozhodující velikost, ale správné složení. Je to ale věrohodné? V 60. letech minulého století poskytl A. C. Nielsen Jr. zajímavou odpověď těm, kteří se domnívali, že větší velikost vzorku zvýší jeho reprezentativitu.

„Pokud nevěříte v náhodný výběr vzorků, až budete příště na odběru krve, řekněte lékaři, ať vám odebere všechno.“ – A.C. Nielsen Jr.

I přes svůj nepopiratelný sarkasmus nám tento citát nabízí velmi srozumitelnou analogii. Nezáleží na tom, zda analyzujete kapku krve, nebo celý litr: výsledky analýzy budou vždy stejné. Jedna kapka krve dokonale reprezentuje celou krev.

Proč je velikost vzorku důležitá?

Je zřejmé, že velikost vzorku je stále důležitá. Proč ale vlastně na tom záleží? I když máte reprezentativní vzorek pro danou populaci, může se náhodou stát, že některé z cílových proměnných budou ve vzorku nadměrně zastoupeny nebo naopak podreprezentovány. Bohužel „náhodou“ znamená, že s tím při sběru dat nemůžete vlastně nic udělat.

Statistické výpočty vám alespoň mohou pomoci odhadnout pravděpodobnost, že se vaše chyba pohybuje v rámci určitého rozmezí, např. že takové odchylky od skutečné hodnoty jsou menší než x % při úrovni spolehlivosti 95 %.

• Pro výzkumníky v oblasti veřejného mínění je nejběžnější volbou úroveň spolehlivosti 95 %. V tomto případě je riziko, že skutečná hodnota leží mimo příslušnou chybu měření, menší než 5 %. V jiných oborech však může být standardem úroveň spolehlivosti 99 % (např. ve farmaceutickém průmyslu, kde mohou statistické chyby znamenat rozdíl mezi životem a smrtí).
• Vzhledem k úrovni spolehlivosti můžete vypočítat míru chyby pro každou hodnotu rozdělení. Řekněme, že výsledek vašeho průzkumu ukazuje tržní podíl 50 % a odpovídající míra chyby je 3 % (při 95% úrovni spolehlivosti). V takovém případě je riziko menší než 5 %, že skutečný tržní podíl je nižší než 47 % nebo vyšší než 53 %.

Chcete-li snížit míru chyby (při dané úrovni spolehlivosti), máte v zásadě jen jednu možnost: musíte zvětšit velikost vzorku.

Jak určit velikost vzorku?

Při určování velikosti vzorku je často nutné začít od konce a postupovat zpětně k začátku. Pro větší přehlednost vás však stručně provedeme procesem pohovorů ve správném pořadí a vysvětlíme vám, jaké konečné statusy může respondent získat.

Vše začíná rozesláním pozvánek členům našeho panelu. Ze všech pozvaných pouze část skutečně klikne na odkaz a zahájí vyplňování dotazníku. Právě to vyjadřuje míra odezvy (procento odpovědí v poměru k celkovému počtu pozvánek k účasti). Kromě toho na začátku průzkumu obvykle klademe několik screeningových otázek, abychom identifikovali požadovanou cílovou skupinu. Procento způsobilých respondentů v této fázi se odráží v míře výskytu (procento jedinců v cílové populaci, kteří splňují konkrétní kritéria požadovaná pro danou studii). Poté, co se ujistíme, že máme správnou cílovou skupinu, posoudíme možné kvóty a ukončíme rozhovor s těmi respondenty, u nichž již byly kvóty naplněny. Kvóty se obvykle posuzují až po screeningovém dotazníku, abychom zajistili, že můžeme měřit správnou míru výskytu bez vlivu kvót. Pokud respondenti splňují podmínky otevřené kvóty, mohou se zúčastnit hlavního průzkumu. Někteří však mohou během rozhovoru odejít a nikdy se nedostanou na závěrečnou stránku. Nakonec budou ti, kteří dosáhnou konce průzkumu, započítáni jako dokončené rozhovory.

Odštěpky

Jak již bylo zmíněno, proces stanovení proveditelnosti začíná určením požadovaného počtu dokončených rozhovorů a následně zahrnuje zpětný výpočet potřebného počtu pozvánek. Řekněme tedy, že provádíme výzkum, který vyžaduje celkem 1 000 rozhovorů. Prvním krokem je odhad počtu případů, kdy dojde k přerušení během hlavního rozhovoru (také označovaných jako „drop-outy“, „částečné rozhovory“ nebo „vzdání se“).

Jaká je tedy rozumná hodnota míry předčasného ukončení? Záleží to hlavně na samotném průzkumu. Pokud je dotazník dlouhý, obsahuje opakující se otázky nebo se týká tématu, které pro respondenty není příliš relevantní, lze očekávat vyšší počet předčasných ukončení. Důležitou roli však hraje i technologie. Pokud průzkum využívá zastaralou technologii (např. Flash) nebo není optimalizován pro mobilní zařízení (např. responzivní design), mohou mít uživatelé potíže s jeho vyplněním. Naši zkušení projektoví manažeři vám rádi pomohou optimalizovat dotazník tak, aby se počet předčasných ukončení snížil na minimum!

Předpokládejme nyní v našem příkladu míru odpadnutí 2 %; to znamená, že budeme potřebovat 1 020 respondentů, kteří zahájí hlavní rozhovor.

Kvóta nebyla splněna

Dalším krokem je odhad počtu případů nesplnění kvót, což je často nejnáročnější úkol a vyžaduje zkušeného projektového manažera.

Definice kvót mohou být poměrně složité. Mohou zahrnovat řadu proměnných, mohou být vzájemně provázané či nepropojené a někdy jsou respondenti do kvót dokonce zařazováni náhodně (viz monadické testy). Teoreticky by nám dostupné proměnné v profilech členů našeho panelu měly pomoci pozvat pouze ty správné účastníky a vyhnout se jakémukoli nesplnění kvót. V praxi to však není vždy možné. Nemusíme mít vždy přístup ke všem požadovaným profilům a pokud je doba sběru dat příliš krátká, nemusíme mít možnost postupně a pečlivě naplnit jednotlivé kvóty.

Stručně řečeno, nedodržení kvót je ve většině případů téměř nevyhnutelné. Jeho rozsah závisí do značné míry na specifikacích studie (tj. na kvótním plánu, době terénního sběru), ale také na zkušenostech projektového manažera. Úspěšné splnění všech kvót v daném časovém rámci při zachování panelu může představovat značnou výzvu a právě to odlišuje zkušené výzkumníky od těch nezkušených.

Předpokládejme, že v našem příkladu se nepodaří naplnit 20% kvótu, takže budeme potřebovat 1 276 prověřených respondentů, včetně těch, kteří průzkum nedokončili.

Vyřazení na základě výběru

Odhadnout počet vyřazených respondentů je relativně snadné, protože míra vyřazení je obvykle součástí nabídky. Tato míra vyřazení by v ideálním případě měla odpovídat podílu respondentů, kteří prošli screeningem, a obvykle je nezávislá na jakýchkoli dalších faktorech.

Pro náš příklad předpokládejme míru výskytu 50 %; to nám dá požadovaný počet 2 552 účastníků.

Míra odezvy

Posledním krokem v našem výpočtu je odpověď na otázku, kolik členů budeme muset pozvat, abychom získali 2 552 účastníků. Míra odezvy do jisté míry závisí na vnějších faktorech (jako je denní doba, den v týdnu, počasí, sváteční období atd.). Kromě toho hraje roli také kvalita panelu a v neposlední řadě parametry samotného průzkumu: pokud je průzkum přizpůsoben pro mobilní zařízení, můžeme pozvánku zaslat prostřednictvím naší panelové aplikace a tím zvýšit míru odezvy.

Pokud v našem příkladu uvedeme hodnotu 45 %, potřebovali bychom vzorek o celkovém počtu 5 669 respondentů. To je minimální počet potřebný k tomu, aby byly splněny požadavky této modelové studie. Jak však můžete vidět v naší publikaci o panelech, i náš nejmenší online panel je dostatečně velký na to, aby bylo možné tento typ studie provést.

Jak dobré je dost dobré?

A to nás přivádí k velmi důležité obchodní otázce: Jak dobré je dost dobré? Na tuto otázku rozhodně neexistuje obecná odpověď, rádi bychom však probrali tři scénáře, které ilustrují možné způsoby uvažování o této problematice:

• Test koncepce: Předpokládejme, že společnost má pro reklamní kampaň dvě alternativy. Která z nich však funguje lépe? Stačí jen určit vítěznou variantu a jít do toho! Za předpokladu, že výsledek nebude příliš těsný, může stačit přibližně 500 dotazovaných (což odpovídá statistické odchylce 4,3 % při 95% hladině spolehlivosti – nejlepší varianta by tedy měla vést s náskokem alespoň 9 %).
• Výzkum voleb: Při předpovídání popularity politických stran ve volbách vás pravděpodobně zajímá více než jen jednotlivá hodnocení. Budete se zajímat o to, které strany by mohly vytvořit koalici a získat tak většinu. Pokud máte dvě strany, u nichž je chyba odhadu 3 %, bude poměrně obtížné to předpovědět, zejména pokud se očekává těsný výsledek. V takovém případě byste měli zvětšit velikost vzorku, abyste snížili chybu odhadu.
• Podskupiny: Velmi často chcete kromě celkových statistik analyzovat i podskupiny svého vzorku: Kdo přesně jsou ti nejčastější uživatelé? Jak se liší muži od žen? Jaké produkty preferují čtenáři určitého časopisu? Pokud použijete pouze menší podmnožinu svého hlavního vzorku, sníží se tím také počet rozhovorů, které budete mít k dispozici pro následnou analýzu. V takovém případě byste měli pracovat také s větším vzorkem.

V konečném důsledku spočívá umění v tom, mít k dispozici dostatek rozhovorů, které vám umožní vyvodit spolehlivé závěry, a přitom udržet celkové náklady na terénní výzkum v rozumných mezích.

Shrnutí

Kolik rozhovorů se tedy doporučuje provést, aby byly výsledky reprezentativní? Na tuto otázku prostě nelze odpovědět. Můžete mít malé vzorky, které jsou velmi reprezentativní, a velké vzorky, které reprezentativní vůbec nejsou (velmi často se jedná o „Big Data“).

• Reprezentativita se týká správného složení vašeho vzorku. Ukazuje, zda vám vzorek poskytuje správný obraz reality. I když je tento obraz trochu rozmazaný, stále vám umožní správně pochopit celkovou situaci.
• Velikost vzorku určuje, jak jasně můžete vidět. Pokud váš vzorek není reprezentativní, velká velikost vám sice umožní vidět velmi jasně – ale bude to falešný obraz, zkreslené zobrazení skutečnosti.