Cosa rende rappresentativo un campione?

Partiamo da una storia che è diventata il mito fondante delle ricerche di mercato. Un secolo fa, la rivista americana The Literary Digest iniziò a condurre sondaggi di opinione tra i suoi dieci milioni di lettori per prevedere i risultati delle elezioni presidenziali. Per cinque elezioni successive, le loro previsioni furono assolutamente azzeccate, fino al massiccio fallimento del 1936, nonostante avessero condotto circa 2,4 milioni di interviste tra i loro lettori. Con grande sorpresa, George Gallup è riuscito a prevedere correttamente il risultato di queste elezioni con “solo” 50.000 interviste.

Quindi, cosa è successo? Il campione del Literary Digest fallì perché i suoi lettori non erano rappresentativi della popolazione generale. Avevano una struttura di età diversa, un reddito medio diverso e, a quanto pare, preferenze politiche diverse. Al contrario, Gallup capì che la rappresentatività non dipende tanto dalle dimensioni del campione, ma dalla sua giusta composizione. Semplicemente, imposto delle quote per assicurarsi che ogni gruppo di persone fosse correttamente rappresentato nel suo campione. Questa scoperta rivoluzionaria è stata il punto di partenza per le ricerche di mercato e di opinione come le conosciamo oggi.

Per la rappresentatività non è importante la dimensione, ma la giusta composizione. Ma è plausibile? Negli anni ’60, A.C. Nielsen Jr. diede una risposta interessante a coloro che ritenevano che una maggiore dimensione del campione ne avrebbe aumentato la rappresentatività.

“Se non credete nel campionamento casuale, la prossima volta che fate un esame del sangue, dite al medico di prelevarlo tutto”. – A.C. Nielsen Jr.

Nonostante l’innegabile sarcasmo, questa citazione ci fornisce un’analogia molto comprensibile. Non importa se si analizza una goccia di sangue o se se ne preleva un litro intero: i risultati delle analisi saranno sempre gli stessi. Una goccia di sangue rappresenta perfettamente tutto questo.

Perché la dimensione del campione è importante?

Ovviamente, la dimensione del campione è ancora importante. Ma perché è importante? Quando si dispone di un campione rappresentativo di una popolazione, per caso alcune delle variabili target possono essere sovrarappresentate o sottorappresentate nel campione. Purtroppo, “per caso” significa che non si può fare nulla al riguardo, quando si raccolgono i dati.

Almeno, i calcoli statistici possono aiutarti a stimare la probabilità che il tuo errore rientri in un certo margine, ad es. che tali deviazioni dal valore reale siano inferiori all’x% con un livello di confidenza del 95%.

• Per i ricercatori, l’opzione più comune è un livello di confidenza del 95%. In questo caso, il rischio che il valore reale sia al di fuori del margine dell’errore corrispondente è inferiore al 5%. Tuttavia, in altre discipline, un livello di confidenza del 99% potrebbe essere lo standard (ad es., nell’industria farmaceutica, poiché gli errori statistici possono essere una questione di vita o di morte).
• Dato il livello di confidenza, è possibile calcolare il margine di errore per ogni valore di una distribuzione. Supponiamo che il risultato del sondaggio fornisca una quota di mercato del 50% e che il margine di errore corrispondente sia del 3% (a un livello del 95%), il rischio che la quota di mercato reale sia inferiore al 47% o superiore al 53% è inferiore al 5%.

Se si vuole ridurre il margine di errore (dato un certo livello di confidenza), si ha fondamentalmente una sola scelta: aumentare la dimensione del campione.

Come decidere la dimensione del campione?

Per determinare la dimensione del campione, spesso è necessario partire dalla fine e risalire all’inizio. Tuttavia, per motivi di chiarezza, ti illustreremo brevemente il processo di intervista nel giusto ordine e spiegheremo gli status finali che un rispondente può ottenere.

Tutto inizia con l’invio dei sondaggi ai membri del panel. Di tutti coloro che sono stati invitati, solo una parte cliccherà effettivamente sul link e inizierà il sondaggio. Questo è ciò che descriviamo con il tasso di risposta (la percentuale di risposte rispetto al numero totale di inviti a partecipare). Inoltre, all’inizio di un sondaggio, di solito vengono poste alcune domande di screening per identificare il gruppo target desiderato. La percentuale di intervistati idonei in questa fase si riflette nel tasso di incidenza (la percentuale di individui in una popolazione target che soddisfano un criterio specifico richiesto per uno studio). Dopo esserci assicurati di avere il giusto gruppo target, valuteremo le possibili quote e termineremo l’intervista per gli intervistati le cui quote sono già state raggiunte. Le quote vengono solitamente valutate dopo lo screener per assicurarsi di poter rilevare il giusto tasso di incidenza senza l’interferenza delle quote. Se i rispondenti rientrano in una quota aperta, possono partecipare all’indagine principale. Tuttavia, alcuni possono interrompere il sondaggio e non arrivare mai alla pagina finale. Infine, chi giunge al termine dell’indagine saranno conteggiati come interviste completate.

Interruzioni

Come già accennato, il processo di determinazione della fattibilità di uno studio inizia con il numero richiesto di interviste completate e poi procedere a ritroso per calcolare il numero necessario di inviti. Supponiamo di condurre uno studio che richiede un totale di 1.000 interviste. Il primo passo consiste nello stimare la quantità di interruzioni durante l’intervista principale (definite anche “drop out”, “parziali” o “abbandoni”).

Quindi, qual è un’ipotesi ragionevole per il tasso di interruzione? Dipende principalmente dal sondaggio stesso. Se il questionario è lungo, ripetitivo o su un argomento non troppo rilevante per i rispondenti, ci si può aspettare un maggior numero di interruzioni. Ma anche la tecnologia gioca un ruolo importante. Se l’indagine si basa su una tecnologia obsoleta (ad esempio, Flash) o non è compatibile con i dispositivi mobili (ad es., non è reattiva), gli utenti potrebbero avere difficoltà a completare l’indagine. I nostri esperti project manager saranno lieti di aiutarti a ottimizzare il tuo questionario per mantenere il numero di interruzioni il più basso possibile!

Ora, ipotizziamo un tasso di abbandono del 2% nel nostro esempio, ciò significa che avremo bisogno di 1.020 intervistati per l’indagine principale.

La quota non funziona

La fase successiva prevede la stima della quantità di quote mancanti, che spesso è il compito più impegnativo e richiede un project manager esperto.

Le definizioni delle quote possono essere piuttosto complesse. Possono includere numerose variabili, possono essere incrociate o non incrociate e a volte i rispondenti vengono assegnati ad esse per caso (si pensi ai test modanico). In teoria, le variabili disponibili dei profili dei membri del panel dovrebbero aiutarci a invitare solo i partecipanti giusti e a evitare qualsiasi errore di quota. Tuttavia, questo non è sempre possibile nella pratica. Non sempre abbiamo accesso a tutti i profili richiesti e, se il periodo di campo è troppo breve, potremmo non avere l’opportunità di soddisfare gradualmente e meticolosamente le diverse quote.

In sintesi, i fallimenti delle quote sono quasi inevitabili nella maggior parte dei casi. La loro portata dipende molto dalle specifiche dello studio (ad esempio, piano ripartizione delle quote, periodo di field), ma anche dall’esperienza del project manager. Riuscire a soddisfare tutti i preventivi entro i tempi previsti, mantenendo il panel, può rappresentare una sfida significativa, che distingue i data collector esperti da quelli inesperti.

Supponiamo che nel nostro esempio la quota del 20% non venga raggiunta, quindi avremo bisogno di 1.276 intervistati selezionati, compresi gli esclusi.

Screen out

Stimare la quantità di screen out è relativamente facile, in quanto il tasso di incidenza è solitamente parte della proposta. Questo tasso di incidenza dovrebbe idealmente corrispondere alla percentuale di intervistati che superano lo screener ed è tipicamente indipendente da qualsiasi altro fattore.

Assumiamo un tasso di incidenza del 50% per il nostro esempio, che ci darà una quantità richiesta di 2.552 avvii.

Tasso di risposta

L’ultimo passo del nostro calcolo è la risposta alla domanda su quanti membri dovremo invitare per ottenere 2.552 partecipanti. Il tasso di risposta dipende leggermente da fattori esterni (come il giorno, la settimana, il tempo, le vacanze, ecc.). Inoltre, anche la qualità del panel gioca un ruolo importante e, non da ultimo, i parametri dello studio stesso: se il sondaggio è adatto ai dispositivi mobili, possiamo inviare il sondaggio all’app del nostro panel e quindi aumentare i tassi di risposta.

Se per il nostro esempio diciamo che è il 45%, avremmo bisogno di un campione totale pari a 5.669 partecipanti. Questa è la quantità minima di rispondenti richiesta per soddisfare le specifiche di questo studio esemplificativo. Ma come si può vedere nel nostro panel book, anche il nostro panel online più piccolo è abbastanza grande per realizzare questo tipo di studio.

Cosa è importante?

E questo ci porta a una domanda commerciale molto importante: Cosa è importante? Non c’è sicuramente una risposta generale, ma vorremmo discutere tre scenari per illustrare i possibili modi di pensarci:

• Concept Test: Supponiamo che un’azienda abbia due alternative per una campagna pubblicitaria. Ma quale funziona meglio? Basterebbe individuare la migliore e procedere con essa! Supponendo che il risultato non sia troppo piccolo, possono essere sufficienti circa 500 interviste (che corrispondono a un margine del 4,3% a un livello del 95% – quindi l’opzione migliore dovrebbe essere in testa con almeno il 9%).
• Ricerca elettorale: Quando si prevede la popolarità dei partiti politici alle elezioni, probabilmente si è interessati a qualcosa di più dei singoli voti. Ti chiederai quali partiti potrebbero formare una coalizione per ottenere la maggioranza. Se ci sono due partiti con un margine di errore del 3% ciascuno, diventa piuttosto difficile fare previsioni, soprattutto se si prevede un risultato stretto. In questo caso è necessario aumentare la dimensione del campione per ridurre il margine di errore.
• Sottoinsiemi: Molto spesso, oltre alle statistiche generali, si desidera analizzare i sottogruppi del campione: Chi sono esattamente questi heavy user? In cosa si differenziano gli uomini dalle donne? Che tipo di prodotti preferiscono i lettori di una certa rivista? Se si utilizza solo un sottoinsieme più piccolo del campione principale, si riduce anche il numero di interviste disponibili per l’analisi successiva. Anche in questo caso è necessario lavorare con un campione di dimensioni maggiori.

In fin dei conti, lo stato dell’arte consiste nell’avere un numero sufficiente di interviste che permettano di trarre conclusioni affidabili e di essere ragionevoli con i costi complessivi del lavoro sul campo.

Sintesi

Quindi, quante interviste sono consigliate per ottenere risultati rappresentativi? A questa domanda non si può rispondere semplicemente. Si possono avere piccoli campioni molto rappresentativi e grandi campioni per nulla rappresentativi (molto spesso: “Big Data”).

• La rappresentatività riguarda la giusta composizione del campione. Indica se il tuo campione ti fornisce la giusta immagine della realtà. Se è un po’ sfocata, ti permetterà comunque di osservare correttamente il quadro completo.
• Le dimensioni di un campione definiscono la chiarezza della visione. Se il tuo campione non è rappresentativo, una grande dimensione ti permetterà di vedere molto chiaramente – ma sarà un’immagine falsa, una rappresentazione errata della verità.