Qual é o tamanho da amostra que se considera representativo?

O que faz com que uma amostra seja representativa?

Vamos começar com uma história que, na verdade, virou o mito fundador da pesquisa de mercado. Há um século, a revista americana The Literary Digest começou a fazer pesquisas de opinião entre seus dez milhões de leitores para prever os resultados das eleições presidenciais. Em cinco eleições seguidas, as previsões deles acertaram em cheio, até que fracassaram feio em 1936, mesmo tendo feito cerca de 2,4 milhões de entrevistas com seus leitores. Para a surpresa deles, George Gallup conseguiu prever o resultado dessa eleição corretamente com “apenas” 50 mil entrevistas.

Então, o que rolou? A amostra da Literary Digest deu errado, porque os leitores deles não eram representativos da população em geral. Eles tinham uma estrutura etária diferente, uma renda média diferente — e, aparentemente, preferências políticas diferentes. Por outro lado, a Gallup entendeu que a representatividade não tem tanto a ver com o tamanho da amostra, mas sim com a composição correta dela. Eles simplesmente usaram cotas para garantir que cada grupo de pessoas estivesse bem representado na amostra. Essa descoberta revolucionária foi o ponto de partida para as pesquisas de mercado e de opinião como as conhecemos hoje.

Quando se trata de representatividade, o que importa não é o tamanho, mas a composição certa. Mas será que isso faz sentido? Na década de 1960, A.C. Nielsen Jr. deu uma resposta interessante para quem achava que uma amostra maior aumentaria a representatividade.

“Se você não acredita em amostragem aleatória, da próxima vez que fizer um exame de sangue, peça ao médico para coletar tudo.” – A.C. Nielsen Jr.

Apesar do sarcasmo inegável, essa citação nos oferece uma analogia bem compreensível. Não importa se você analisa uma gota de sangue ou se coleta um litro inteiro: os resultados da análise serão sempre os mesmos. Uma gota de sangue representa perfeitamente todo o sangue.

Por que o tamanho da amostra é importante?

Obviamente, o tamanho da amostra ainda é importante. Mas por que exatamente isso importa? Sempre que você tem uma amostra representativa de uma população, pode acontecer, por acaso, que algumas das variáveis-alvo fiquem super- ou sub-representadas na sua amostra. Infelizmente, “por acaso” significa que não há realmente nada que você possa fazer a respeito, na hora de coletar os dados.

Pelo menos, os cálculos estatísticos podem te ajudar a estimar a probabilidade de que o teu erro esteja dentro de uma determinada margem, por exemplo, que esses desvios em relação ao valor real sejam menores que x% com um nível de confiança de 95%.

• Para pesquisadores de opinião, um nível de confiança de 95% é a opção mais comum. Nesse caso, o risco de o valor real estar fora da margem de erro correspondente é menor que 5%. No entanto, em outras áreas, um nível de confiança de 99% pode ser o padrão (por exemplo, na indústria farmacêutica, já que erros estatísticos podem ser uma questão de vida ou morte).
• Dado o nível de confiança, você pode calcular a margem de erro para cada valor de uma distribuição. Digamos que o resultado da sua pesquisa indique uma participação de mercado de 50% e que a margem de erro correspondente seja de 3% (com um nível de confiança de 95%); nesse caso, o risco de que a participação de mercado real seja inferior a 47% ou superior a 53% é menor que 5%.

Se você quiser reduzir a margem de erro (para um determinado nível de confiança), basicamente só tem uma opção: precisa aumentar o tamanho da amostra.

Como decidir o tamanho da amostra?

Para determinar o tamanho da sua amostra, muitas vezes é preciso começar pelo fim e seguir de trás para frente até o início. No entanto, para facilitar a compreensão, vamos te explicar rapidamente o processo de entrevista na ordem certa e mostrar os status finais que um entrevistado pode receber.

Tudo começa com o envio de convites aos membros do nosso painel. De todos os convidados, só uma parte vai realmente clicar no link e começar a pesquisa. É isso que chamamos de taxa de resposta (a porcentagem de respostas em relação ao número total de convites para participar). Além disso, no início de uma pesquisa, geralmente temos algumas perguntas de triagem para identificar o público-alvo desejado. A porcentagem de participantes qualificados nessa fase é refletida na taxa de incidência (a porcentagem de pessoas em uma população-alvo que atendem a um critério específico exigido para um estudo). Depois de termos certeza de que estamos com o público-alvo certo, avaliamos as possíveis cotas e encerramos a entrevista para os participantes cujas cotas já foram preenchidas. As cotas geralmente são avaliadas após o questionário de triagem para garantir que possamos medir a taxa de incidência correta, sem a interferência das cotas. Se os respondentes se encaixarem em uma cota aberta, eles podem participar da pesquisa principal. No entanto, alguns podem desistir durante a entrevista e nunca chegar à página final. Por fim, aqueles que chegarem ao fim da pesquisa serão contados como entrevistas concluídas.

Quebras

Como já falamos, o processo de determinar a viabilidade começa com o número necessário de entrevistas concluídas e, depois, envolve fazer o cálculo de trás para frente para determinar o número necessário de convites. Então, digamos que a gente esteja fazendo um estudo que precisa de um total de 1.000 entrevistas. O primeiro passo é estimar a quantidade de desistências durante a entrevista principal (também chamadas de “desistências”, “entrevistas parciais” ou “abandonos”).

Então, qual seria uma estimativa razoável para a taxa de desistência? Isso depende principalmente da própria pesquisa. Se o questionário for longo, repetitivo ou sobre um assunto que não seja muito relevante para os participantes, é de se esperar um número maior de desistências. Mas a tecnologia também tem um papel importante. Se a pesquisa usar tecnologia ultrapassada (por exemplo, Flash) ou não for compatível com dispositivos móveis (por exemplo, responsiva), os usuários podem ter dificuldade para responder. Nossos gerentes de projeto experientes ficarão felizes em te ajudar a otimizar seu questionário para manter o número de desistências o mais baixo possível!

Agora, vamos supor uma taxa de desistência de 2% no nosso exemplo; isso significa que vamos precisar de 1.020 entrevistados para começar a entrevista principal.

A cota não foi atingida

O próximo passo é estimar o número de falhas nas cotas, o que costuma ser a tarefa mais desafiadora e exige um gerente de projeto experiente.

As definições de cotas podem ser bem complexas. Elas podem incluir várias variáveis, podem ser interligadas ou não, e às vezes os entrevistados até são designados a elas por acaso (pensa nos testes monádicos). Em teoria, as variáveis disponíveis nos perfis dos membros do nosso painel deveriam nos ajudar a convidar só os participantes certos e evitar qualquer falha nas cotas. No entanto, isso nem sempre é possível na prática. Nem sempre temos acesso a todos os perfis necessários e, se o período de campo for muito curto, talvez não tenhamos a oportunidade de cumprir as diferentes cotas de forma gradual e meticulosa.

Resumindo, o não cumprimento das cotas é quase inevitável na maioria dos casos. A gravidade disso depende muito das especificações do estudo (ou seja, plano de cotas, período de campo), mas também da experiência do gerente de projeto. Conseguir cumprir todas as cotas dentro do prazo e, ao mesmo tempo, manter o painel pode ser um grande desafio, e é isso que diferencia os pesquisadores experientes dos inexperientes.

Vamos supor que a cota de 20% não seja atingida no nosso exemplo; então, vamos precisar de 1.276 entrevistados selecionados, incluindo os que desistiram.

Eliminações

É relativamente fácil estimar o número de desistências na triagem, já que a taxa de incidência geralmente faz parte da proposta. Idealmente, essa taxa de incidência deveria ser igual à proporção de respondentes que passam pela triagem e, normalmente, é independente de quaisquer outros fatores.

Vamos supor uma taxa de incidência de 50% para o nosso exemplo; isso vai nos dar uma quantidade necessária de 2.552 participantes.

Taxa de resposta

O último passo do nosso cálculo é responder à pergunta: quantos membros precisaremos convidar para conseguir 2.552 participantes iniciais? A taxa de resposta depende um pouco de fatores externos (como horário do dia, dia da semana, clima, época de férias, etc.). Além disso, a qualidade do painel também influencia, e, por último, mas não menos importante, os parâmetros do próprio estudo: se a pesquisa for compatível com dispositivos móveis, podemos enviar o convite pelo aplicativo do nosso painel e, assim, aumentar as taxas de resposta.

Se considerarmos 45% para o nosso exemplo, precisaríamos de uma amostra total de 5.669 pessoas. Esse é o número mínimo necessário para atender às especificações desse estudo exemplar. Mas, como você pode ver no nosso catálogo de painéis, até mesmo o nosso menor painel online já é grande o suficiente para realizar esse tipo de estudo.

Até que ponto “bom” é bom o suficiente?

E isso nos leva a uma questão de negócios muito importante: até que ponto “bom” é bom o suficiente? Definitivamente, não há uma resposta única para isso, mas gostaríamos de discutir três cenários para ilustrar possíveis maneiras de pensar sobre o assunto:

• Teste de conceito: Vamos supor que uma empresa tenha duas alternativas para uma campanha publicitária. Mas qual delas funciona melhor? Você só precisa identificar a vencedora e seguir em frente! Supondo que o resultado não seja muito apertado, cerca de 500 entrevistas podem ser suficientes (o que corresponde a uma margem de 4,3% com um nível de confiança de 95% — então, a melhor opção deve ter uma vantagem de pelo menos 9%).
• Pesquisa eleitoral: Ao prever a popularidade dos partidos políticos nas eleições, você provavelmente está interessado em mais do que apenas os índices de popularidade individuais. Você vai se perguntar quais partidos poderiam formar uma coalizão para obter a maioria. Se você tiver dois partidos com uma margem de erro de 3% cada, vai ficar bem difícil prever isso, principalmente se o resultado for esperado para ser acirrado. Nesse caso, você deve aumentar o tamanho da amostra para reduzir a margem de erro.
• Subgrupos: Muitas vezes, além das estatísticas gerais, você quer analisar subgrupos da sua amostra: quem são exatamente esses usuários assíduos? Em que os homens diferem das mulheres? Que tipo de produtos os leitores de uma determinada revista preferem? Se você usar apenas um subconjunto menor da sua amostra principal, o número de entrevistas disponíveis para a sua análise posterior também vai diminuir. Nesse caso, você também deve trabalhar com uma amostra maior.

No fim das contas, o segredo é conseguir entrevistas suficientes para que você possa tirar conclusões confiáveis e, ao mesmo tempo, manter os custos gerais do trabalho de campo dentro do razoável.

Resumo

Então, quantas entrevistas são recomendadas para se obter resultados representativos? Essa pergunta simplesmente não tem resposta. Você pode ter amostras pequenas que sejam muito representativas e amostras grandes que não sejam representativas de jeito nenhum (muitas vezes: “Big Data”).

• A representatividade tem a ver com a composição correta da sua amostra. Ela indica se a sua amostra te dá uma visão correta da realidade. Mesmo que seja um pouco imprecisa, ela ainda vai te permitir ter uma visão geral correta.
• O tamanho de uma amostra define o quão nítida é a sua visão. Se a sua amostra não for representativa, um tamanho grande vai te permitir enxergar com muita clareza — mas será uma imagem falsa, uma deturpação da verdade.