Co to znaczy reprezentatywny?

Ogólnie rzecz biorąc, termin reprezentatywny odnosi się do czegoś, co dokładnie odzwierciedla lub odpowiada większej grupie lub całości. W badaniach rynkowych odnosimy się do reprezentatywności próby. Reprezentatywna próba ma odzwierciedlać cechy wybranej populacji. W tym kontekście populacja oznacza zdefiniowaną grupę osób o podobnych cechach (np. demograficznych, płci lub innych zmiennych, takich jak obecni właściciele psów). Chodzi o to, aby próba pozwoliła na wyciągnięcie prawidłowych wniosków na temat większej grupy.

Dlatego mówimy, że próba jest reprezentatywna, jeśli wyniki analizy próby można również uznać za prawdziwe dla całej odpowiadającej jej populacji.

Jeśli przeanalizujesz tę definicję reprezentatywności, zauważysz, że nie ma reprezentatywności jako takiej. Określenie przedstawiciel zawsze wymaga spójnika “dla”, np.

• reprezentatywny dla ogółu populacji (tzw. przedstawiciel krajowy)
• reprezentatywny dla ogólnej populacji w wieku od 18 do 65 lat
• reprezentatywny dla populacji internetowej w wieku od 18 do 65 lat

Statystycy twierdzą, że tylko próby losowe mogą być reprezentatywne. Zgodnie z ich logiką, próby kwotowe nie mogą być reprezentatywne, ponieważ niemożliwe jest określenie właściwych kwot przed przeprowadzenie reprezentatywnego badania. Jest to jednak bardzo teoretyczny argument. W praktyce badacze mają dużą wiedzę na temat tego, jak zmienne są dystrybuowane wśród ich grup docelowych i mogą odpowiednio ustawić kwoty. Ponadto dane spisowe z krajowych urzędów statystycznych pozwalają badaczom na ciągłe sprawdzanie i dostosowywanie swoich modeli.

Jednocześnie coraz trudniej jest wylosować idealną próbę losową. Na przykład wywiady telefoniczne lub osobiste muszą radzić sobie z rosnącym odsetkiem osób odmawiających udziału w projektach badawczych. Tak więc nawet te metody mają swoje ograniczenia. Ostatecznie techniki losowego doboru próby są znacznie droższe i w przypadku wielu pytań badawczych zapewniają niewielką wartość dodaną w porównaniu z kwotowym doborem próby.

Czy badania online są stronnicze?

Zanim grupa osób z populacji ogólnej będzie mogła pozostawić swoje odpowiedzi w pliku danych, należy wykonać cztery kroki. Poniższa sekcja przeanalizuje te cztery kroki i podkreśli odpowiednie ograniczenia reprezentatywności.

Stronniczość pokrycia

Jeśli chcesz ocenić reprezentatywność dla ogólnej populacji, powinieneś zacząć od spojrzenia na penetrację Internetu. W Europie średnio 84% osób korzysta z Internetu codziennie. Szczególnie w Europie Zachodniej i Północnej penetracja Internetu jest znacznie wyższa, z doskonałymi wartościami w Norwegii, Danii i Holandii (po 96%). W tych krajach badania online pomijają mniej niż 5% całej populacji.

Oczywiście ogólna penetracja Internetu jest istotna tylko wtedy, gdy chcemy wyciągnąć wnioski reprezentatywne dla ogółu populacji. W wielu przypadkach wyniki muszą być po prostu reprezentatywne dla populacji online, zwłaszcza gdy temat badania dotyczy handlu elektronicznego, reklamy online lub podobnych tematów. W tym przypadku nie musisz się martwić, że przegapisz tak zwane “nonlinery”.

Kim dokładnie są ci nieliniowcy? W przeszłości populacja online była znacznie młodsza, lepiej wykształcona i bardziej zainteresowana technologią. Różnice te zniknęły w ciągu ostatnich lat i nadal znikają wraz ze wzrostem ogólnej penetracji Internetu. Zwłaszcza pojawienie się mobilnego Internetu sprawiło, że mniej wykształcone i starsze osoby zaczęły korzystać z Internetu.

Podsumowując, tendencyjność pokrycia jest istotna tylko wtedy, gdy chcesz wyciągnąć wnioski dla ogólnej populacji i to nie tylko populacji online. W takim przypadku powinieneś spróbować dowiedzieć się, czy Twój temat badawczy jest skorelowany z wykształceniem lub pokrewieństwem technicznym, aby wyeliminować możliwą stronniczość. Niestety, jako badacz nie możesz nic z tym zrobić. Jeśli naprawdę martwisz się o jakość danych, musisz wybrać inną metodę ich gromadzenia. Jednak tendencyjność zasięgu nie jest zbyt dużym problemem w przypadku większości tematów i w większości krajów, a na szczęście nawet maleje.

Błąd selekcji

Zanim zagłębimy się w rekrutację panelową, musimy wprowadzić bardzo ważne rozróżnienie. Za każdym razem, gdy aktywnie wybierasz i zapraszasz kwalifikujących się członków panelu, masz pełną kontrolę nad tym, kto dołącza do panelu. To właśnie nazywamy aktywną rekrutacją. W przeciwieństwie do tego, gdy pozwalasz ludziom na samodzielne subskrybowanie panelu, nie masz kontroli nad tym, kto do niego dołącza. To właśnie nazywamy otwartą rekrutacją.

Większość paneli działa w oparciu o otwartą rekrutację, ponieważ jest to bardzo opłacalny i nieskomplikowany sposób na rozwój panelu. Ma to jednak wyraźną wadę. Po pierwsze, przyciągniesz głównie osoby, które mają własny interes w wypełnianiu ankiet i nie są one reprezentatywne dla ogółu populacji. Po drugie, prawie niemożliwe jest wykluczenie z panelu osób, które nie spełniają wymaganych kryteriów demograficznych lub w jakikolwiek inny sposób nie spełniają standardów jakości.

W Norstat wierzymy w jakość aktywnej rekrutacji i dlatego nie mamy publicznej strony rejestracji do naszych paneli. W krajach, w których mamy centra telefoniczne, losowo wybieramy osoby z populacji ogólnej i zapraszamy je telefonicznie do udziału w naszych panelach. Dzięki temu nasze panele są tak reprezentatywne, jak to tylko możliwe. We wszystkich innych krajach korzystamy z bardzo szerokiej gamy kanałów rekrutacyjnych, aby uniknąć sytuacji, w której pojedyncze źródło może mieć znaczący wpływ na ogólną jakość. Rejestrujący się z tych źródeł są przekierowywani na ukrytą stronę subskrypcji, którą można wyłączyć w dowolnym momencie. W rzeczywistości dzieje się tak za każdym razem, gdy zidentyfikujemy problemy z jakością lub nieuczciwe zachowania pochodzące z określonego źródła rekrutacji. Wreszcie, możemy zwiększyć dowolną grupę demograficzną za pomocą ukierunkowanej rekrutacji, jeśli uważamy, że struktura panelu nie jest zrównoważona.

Krótko mówiąc, jeśli dostawcy paneli zapraszają do nich niewłaściwe osoby lub pomijają określoną grupę docelową, panel nie jest reprezentatywny. Wszystkie wysiłki na tym etapie mogą nie być widoczne dla wielu kupujących, ale zdecydowanie stanowią różnicę między wysokiej jakości panelem badawczym a niereprezentatywną listą mailingową. Dlatego też należy zawsze porównywać dostawców paneli pod kątem tego, w jaki sposób rekrutują oni do swoich paneli. A tak przy okazji, nasze formularze rejestracyjne są w 100% przyjazne dla urządzeń mobilnych, aby upewnić się, że nie wykluczamy użytkowników mobilnych z dołączenia do naszego panelu. Zdziwiłbyś się, jak wiele paneli nie jest jeszcze standardem. Wrócimy do tego tematu później.

Błąd braku odpowiedzi

Załóżmy teraz, że mamy reprezentatywny panel online. Jeśli wylosowalibyśmy losową próbę członków panelu, byłaby ona również reprezentatywna. Niestety, nie wszyscy członkowie kliknęli na link w wiadomości e-mail z zaproszeniem. Niektóre grupy zareagowałyby bardzo szybko, inne potrzebowałyby więcej czasu, a niektóre nie zareagowałyby wcale. Pod koniec okresu terenowego zestaw danych nie byłby reprezentatywny dla populacji docelowej, chociaż na początku byłaby to idealna próba losowa.

Brak odpowiedzi to poważny problem – nie tylko w przypadku badań online, ale dla wszystkich metod zbierania danych. Co ciekawe, zwłaszcza panele internetowe osiągają zadowalające wskaźniki odpowiedzi, ponieważ ich członkowie oczekują regularnego otrzymywania zaproszeń do udziału w ankietach. Ponadto z czasem nauczyli się, że mogą zaufać dostawcy panelu w zakresie prywatności i ochrony danych. Jest to prawdopodobnie największa różnica w porównaniu z telefonami od ankieterów telefonicznych, które są niezamówione. Co więcej, w badaniach online można po prostu wydłużyć czas trwania okresu terenowego i wysyłać przypomnienia, aby zwiększyć wskaźnik odpowiedzi.

Aby uniknąć przekrzywionych rozkładów w danych końcowych, należy ustawić limity. Mogą to być zarówno limity miękkie (co oznacza, że kierownik projektu będzie starał się osiągnąć pożądany rozkład przy dołożeniu wszelkich starań), jak i limity twarde (co oznacza, że respondenci nie będą w stanie ukończyć wywiadu po zebraniu wystarczającej liczby opinii w danej grupie docelowej). Trzecią alternatywą jest praca ze współczynnikami wagowymi w celu dostosowania do nadmiernie lub niedostatecznie reprezentowanych podgrup.

Podsumowując, błąd błąd braku odpowiedzi może dramatycznie zniekształcić wyniki. Na szczęście Norstat osiąga wskaźniki odpowiedzi powyżej średniej dzięki rygorystycznemu skupieniu się na motywacji naszych członków.

Wykluczenie stronniczości

Wreszcie, musimy porozmawiać o urządzeniach mobilnych. Jeśli szablon ankiety nie pozwala użytkownikom mobilnym odpowiedzieć na kwestionariusz, systematycznie pomijasz dużą część populacji. W zależności od kraju, około dwie trzecie populacji często korzysta z Internetu za pomocą smartfona, tabletu lub komputera. Dlatego wykluczenie ich z ankiety może mieć ogromny wpływ na ogólną jakość badania.

Należy pamiętać, że bardzo często zapomina się o tendencyjności wykluczenia, gdy mówi się o reprezentatywności, zwłaszcza jeśli nie podchodzi się poważnie do jakości danych w poprzednich krokach. Jeśli strona subskrypcji Twojego panelu nie jest przyjazna dla urządzeń mobilnych, systematycznie wykluczasz użytkowników mobilnych na wcześniejszym etapie. A jeśli nie korzystasz z responsywnych szablonów wiadomości e-mail lub aplikacji mobilnej podczas zapraszania członków panelu, wskaźnik odpowiedzi może być niższy, ponieważ tracisz także użytkowników mobilnych.

Krótko mówiąc, jeśli dążysz do uzyskania reprezentatywnych wyników, powinieneś upewnić się, że Twoja ankieta jest odpowiednia dla wszystkich urządzeń. W Norstat mamy wieloletnie doświadczenie w projektowaniu kwestionariuszy i z przyjemnością opracujemy scenariusz ankiety w najlepszy możliwy sposób i na wszystkie urządzenia.

Wniosek

Jak reprezentatywne są badania online? Wierzymy, że może to być bardzo reprezentatywne, o ile nie idziesz na kompromis z jakością. W Norstat dajemy z siebie wszystko, aby zapewnić naszym klientom najwyższą jakość, jakiej od nas oczekują. Staramy się być jak najbardziej transparentni w tym procesie, ponieważ nie mamy nic do ukrycia.

Ale widać też, że wiele rzeczy może pójść nie tak podczas przeprowadzania badań online za pomocą paneli. Nie oznacza to, że inne metody mają więcej zalet, ich wyzwania są po prostu inne. W każdym przypadku badania online wymagają profesjonalnej opieki w celu wygenerowania wiarygodnych i reprezentatywnych wyników.

Jeśli chcesz dowiedzieć się więcej o naszych standardach jakości, napisz do nas. Czekamy na wiadomość od Ciebie!