Jak reprezentativní je online průzkum?

Co znamená slovo „reprezentativní“?

Obecně se termín „reprezentativní“ vztahuje na něco, co přesně odráží nebo odpovídá větší skupině či celku. V oblasti průzkumu trhu máme na mysli reprezentativnost vzorku. Reprezentativní vzorek má odrážet charakteristiky dané populace. V tomto kontextu se populací rozumí definovaná skupina lidí, kteří sdílejí soubor podobných charakteristik (např. demografické údaje, pohlaví nebo jiné proměnné, jako jsou například současní majitelé psů). Cílem je, aby vzorek umožňoval vyvodit platné závěry o širší skupině.

Proto říkáme, že vzorek je reprezentativní, pokud lze výsledky analýzy vzorku považovat za platné i pro celou příslušnou populaci.

Pokud tuto definici reprezentativnosti analyzujete, zjistíte, že reprezentativnost jako taková neexistuje. Pojem „reprezentativní“ vždy vyžaduje doplnění slova „pro“, např.

• reprezentativní vzorek pro celou populaci (také známý jako celostátní reprezentativní vzorek)
• reprezentativní vzorek obecné populace ve věku od 18 do 65 let
• reprezentativní vzorek internetové populace ve věku od 18 do 65 let

Statistici tvrdí, že reprezentativní mohou být pouze náhodné výběry. Podle jejich logiky nemohou být reprezentativní kvótové výběry, protože není možné znát správné kvóty. předtím provedení reprezentativní studie. Jedná se však o velmi teoretický argument. V praxi mají výzkumníci rozsáhlé znalosti o tom, jak jsou proměnné rozloženy v jejich cílových skupinách, a mohou na základě toho stanovit příslušné kvóty. Navíc údaje ze sčítání lidu získané od národních statistických úřadů umožňují výzkumníkům průběžně ověřovat a upravovat své modely.

Zároveň je stále obtížnější sestavit dokonalý náhodný výběr. Například při telefonických nebo osobních rozhovorech se potýkáme s rostoucím podílem lidí, kteří odmítají účastnit se výzkumných projektů. I tyto metody mají tedy svá omezení. Nakonec jsou techniky náhodného výběru mnohem nákladnější a u mnoha výzkumných otázek přinášejí ve srovnání s kvótovým výběrem jen malou přidanou hodnotu.

Jsou výsledky online průzkumů zkreslené?

Než může skupina lidí z běžné populace zadat své odpovědi do datového souboru, je třeba provést čtyři kroky. V následující části budou tyto čtyři kroky analyzovány a budou zdůrazněna související omezení z hlediska reprezentativnosti.

Zkreslení pokrytí

Chcete-li posoudit reprezentativnost vzhledem k celkové populaci, měli byste se nejprve podívat na míru penetrace internetu. V Evropě využívá internet denně v průměru 84 % lidí. Zejména v západní a severní Evropě je míra penetrace internetu výrazně vyšší, přičemž vynikající hodnoty vykazují Norsko, Dánsko a Nizozemsko (všechny 96 %). V těchto zemích online průzkumy opomíjejí méně než 5 % celkové populace.

Celková míra penetrace internetu má samozřejmě význam pouze v případě, že chcete vyvodit závěry, které jsou reprezentativní pro celou populaci. V mnoha případech však stačí, aby výsledky byly reprezentativní pouze pro uživatele internetu, zejména pokud se výzkum týká elektronického obchodování, online reklamy nebo podobných témat. V takovém případě se nemusíte obávat, že vám uniknou takzvaní „nonliners“.

A kdo vlastně jsou tito „neuživatelé internetu“? V minulosti byla skupina uživatelů internetu výrazně mladší, vzdělanější a více se zajímala o technologie. Tyto rozdíly v posledních letech zmizely a nadále mizí, jak se celková míra penetrace internetu zvyšuje. Zejména nástup mobilního internetu přivedl k jeho využívání i méně vzdělané a starší lidi.

Celkově vzato, je zkreslení vzorku relevantní pouze v případě, že chcete vyvodit závěry pro celou populaci a to nejen u uživatelů internetu. V takovém případě byste se měli pokusit zjistit, zda vaše výzkumné téma souvisí s úrovní vzdělání nebo technickou zdatností, abyste mohli tuto možnou zaujatost zohlednit. Bohužel s tím jako výzkumník nemůžete nic dělat. Pokud vás kvalita dat opravdu znepokojuje, musíte zvolit jinou metodu sběru dat. Zkreslení pokrytí však u většiny témat a ve většině zemí nepředstavuje příliš velký problém a naštěstí dokonce klesá.

Zkreslení výběru

Než se budeme podrobněji zabývat náborem do panelu, musíme uvést jedno velmi důležité rozlišení. Kdykoli aktivně vybíráte a zvete vhodné členy panelu, máte plnou kontrolu nad tím, kdo se do panelu zapojí. Tomu říkáme aktivní nábor. Naopak, kdykoli umožníte lidem, aby se do panelu přihlásili sami, nemáte kontrolu nad tím, kdo se do panelu zapojí. Tomu říkáme otevřený nábor.

Většina panelů využívá otevřený nábor, protože se jedná o velmi nákladově efektivní a nenáročný způsob, jak panel rozšiřovat. Má to však i jasnou nevýhodu. Zaprvé přilákáte hlavně lidi, kteří mají vlastní zájem na vyplňování dotazníků, a tito respondenti nejsou reprezentativní pro celkovou populaci. Zadruhé je téměř nemožné zabránit tomu, aby se do panelu dostali lidé, kteří nesplňují požadované demografické parametry nebo jinak nevyhovují vašim standardům kvality.

Ve společnosti Norstat věříme v kvalitu aktivního náboru, a proto nemáme veřejnou registrační stránku pro naše panely. V zemích, kde provozujeme call centra, náhodně vybíráme osoby z široké veřejnosti a telefonicky je zveme k účasti v našich panelech. Díky tomu jsou naše panely co nejreprezentativnější. Ve všech ostatních zemích využíváme velmi širokou škálu náborových kanálů, abychom zabránili tomu, že by jakýkoli jednotlivý zdroj mohl mít zásadní vliv na celkovou kvalitu. Zájemci z těchto zdrojů jsou přesměrováni na skrytou registrační stránku, kterou lze kdykoli deaktivovat. K tomu dochází vždy, když zjistíme problémy s kvalitou nebo podvodné chování ze strany konkrétního náborového zdroje. A konečně, pokud se domníváme, že struktura panelu není vyvážená, můžeme jakoukoli demografickou skupinu posílit cíleným náborem.

Zkrátka, pokud provozovatelé panelů pozvou do svých panelů nesprávné osoby nebo opomenou určitou cílovou skupinu, panel není reprezentativní. Veškeré úsilí vynaložené v této fázi nemusí být pro mnoho zadavatelů viditelné, ale rozhodně rozhoduje o tom, zda se jedná o vysoce kvalitní výzkumný panel, nebo o nereprezentativní seznam adresátů. Proto byste měli poskytovatele panelů vždy porovnávat podle toho, jakým způsobem do svých panelů získávají účastníky. A mimochodem, naše registrační formuláře jsou stoprocentně optimalizované pro mobilní zařízení, abychom zajistili, že z účasti v našem panelu nevyloučíme uživatele mobilních zařízení. Byli byste překvapeni, u kolika panelů to zatím není standardem. K tomuto tématu se ještě vrátíme.

Zkreslení způsobené neodpověďmi

Předpokládejme, že nyní máme reprezentativní online panel. Pokud bychom z členů panelu vybrali náhodný vzorek, byl by tento vzorek rovněž reprezentativní. Bohužel ne všichni členové by klikli na odkaz v pozvánkovém e-mailu. Některé skupiny by reagovaly velmi rychle, jiné by potřebovaly více času a některé by téměř nereagovaly vůbec. Na konci sběru dat by datový soubor nebyl reprezentativní pro cílovou populaci, ačkoli na začátku by se jednalo o dokonalý náhodný výběr.

Nízká míra odezvy představuje závažný problém – a to nejen v případě online výzkumu, ale u všech metod sběru dat. Je zajímavé, že právě online panely dosahují uspokojivé míry odezvy, protože jejich členové očekávají, že budou pravidelně dostávat pozvánky k účasti v průzkumech. Navíc se postupem času naučili, že mohou poskytovateli panelu důvěřovat, pokud jde o soukromí a ochranu osobních údajů. To je pravděpodobně největší rozdíl oproti telefonickým dotazníkům, které jsou nevyžádané. Navíc v online průzkumu lze jednoduše prodloužit dobu trvání terénního šetření a zasílat upomínky, aby se zvýšila míra odezvy.

Abyste předešli nevyváženému rozložení ve vašich konečných datech, měli byste stanovit kvóty. Může se jednat buď o měkké kvóty (což znamená, že projektový manažer se bude snažit dosáhnout požadovaného rozložení v rámci svých možností), nebo o tvrdé kvóty (což znamená, že respondenti nebudou moci dotazník dokončit, jakmile v dané cílové skupině nasbíráte dostatek zpětné vazby). Třetí možností je práce s váhovými koeficienty, které umožňují vyvážit nadměrně nebo nedostatečně zastoupené podskupiny.

Celkově vzato, zkreslení způsobené neodpověďmi může vaše výsledky dramaticky zkreslit. Naštěstí se společnosti Norstat daří dosahovat nadprůměrné míry odezvy díky tomu, že se důsledně zaměřujeme na motivaci našich členů.

Zkreslení vyloučením

V neposlední řadě se musíme zmínit o mobilních zařízeních. Pokud vaše šablona průzkumu neumožňuje mobilním uživatelům vyplnit dotazník, systematicky vám unikne velká část populace. V závislosti na zemi přibližně dvě třetiny obyvatelstva často využívají internet prostřednictvím smartphonu, tabletu nebo počítače. Jejich vyloučení z průzkumu proto může mít zásadní dopad na celkovou kvalitu vašeho výzkumu.

Vezměte prosím na vědomí, že při diskusi o reprezentativnosti se velmi často zapomíná na zkreslení způsobené vyloučením, zejména pokud v předchozích krocích nevěnujete dostatečnou pozornost kvalitě dat. Pokud stránka pro registraci do vašeho panelu není optimalizovaná pro mobilní zařízení, systematicky tak již v rané fázi vylučujete uživatele mobilních zařízení. A pokud při zvání členů panelu nepoužíváte responzivní e-mailové šablony nebo mobilní aplikaci, může být míra odezvy nižší, protože vám uniknou i uživatelé mobilních zařízení.

Stručně řečeno, pokud vám záleží na reprezentativních výsledcích, měli byste se ujistit, že váš průzkum je přizpůsoben pro všechna zařízení. Ve společnosti Norstat máme dlouholeté zkušenosti s tvorbou dotazníků a rádi vám průzkum připravíme tak, aby fungoval co nejlépe na všech zařízeních. .

Závěr

Jak reprezentativní je tedy online průzkum? Jsme přesvědčeni , že může být velmi reprezentativní, pokud se nekompromituje kvalita. Ve společnosti Norstat se snažíme ze všech sil poskytovat prvotřídní služby, jaké od nás naši klienti očekávají. A v tomto procesu se snažíme být co nejtransparentnější, protože nemáme co skrývat.

Je však také zřejmé, že při provádění online průzkumu s využitím panelů se může mnoho věcí pokazit. To neznamená, že jiné metody mají více výhod – jejich výzvy jsou prostě jiné. V každém případě vyžaduje online průzkum profesionální přístup, aby bylo možné získat spolehlivé a reprezentativní výsledky.

Pokud se chcete dozvědět více o našich standardech kvality, neváhejte nám napsat. Těšíme se na vaši zprávu!