Até que ponto as pesquisas online são representativas?

O que significa “representativo”?

Geralmente, o termo “representativo” se refere a algo que reflete com precisão ou corresponde a um grupo maior ou a um todo. Na pesquisa de mercado, estamos falando da representatividade da amostra. Uma amostra representativa tem como objetivo refletir as características da população em questão. Nesse contexto, população significa um grupo definido de pessoas que compartilham um conjunto de características semelhantes (por exemplo, dados demográficos, gênero ou outras variáveis, como quem tem cachorro atualmente). A ideia é que a amostra permita fazer inferências válidas sobre o grupo maior.

Por isso, dizemos que uma amostra é representativa se os resultados da análise dessa amostra também puderem ser considerados válidos para toda a população correspondente.

Se você analisar essa definição de representatividade, vai perceber que não existe representatividade em si. O termo “representativo” sempre requer um “para”, por exemplo:

• representativo da população em geral (também conhecido como representativo nacional) não é representativo da população em geral (também conhecido como não representativo)
• amostra representativa da população em geral com idades entre 18 e 65 anos
• amostra representativa da população que usa a internet com idades entre 18 e 65 anos

Os estatísticos dizem que só as amostras aleatórias podem ser representativas. Pela lógica deles, as amostras por cota não podem ser representativas, porque é impossível saber quais são as cotas corretas antes realizar um estudo representativo. No entanto, esse é um argumento bem teórico. Na prática, os pesquisadores têm bastante conhecimento sobre como as variáveis se distribuem entre seus grupos-alvo e podem definir as cotas de acordo com isso. Além disso, os dados do censo, fornecidos pelos institutos nacionais de estatística, permitem que os pesquisadores validem e ajustem seus modelos o tempo todo.

Ao mesmo tempo, tá ficando cada vez mais difícil conseguir uma amostra aleatória perfeita. Entrevistas por telefone ou presenciais, por exemplo, precisam lidar com uma proporção cada vez maior de pessoas que se recusam a participar de projetos de pesquisa. Então, mesmo esses métodos têm suas limitações. No fim das contas, as técnicas de amostragem aleatória são bem mais caras e, para muitas questões de pesquisa, oferecem pouco valor agregado em comparação com a amostragem por cotas.

A pesquisa online é tendenciosa?

É preciso seguir quatro etapas antes que um grupo de pessoas da população em geral possa registrar suas respostas em um arquivo de dados. A seção a seguir vai analisar essas quatro etapas e destacar as limitações correspondentes em termos de representatividade.

Viés de cobertura

Se você quiser avaliar a representatividade em relação à população em geral, é bom começar analisando a penetração da internet. Na Europa, em média, 84% das pessoas usam a internet diariamente. Especialmente na Europa Ocidental e do Norte, a penetração da internet é significativamente maior, com valores excelentes na Noruega, na Dinamarca e na Holanda (96% em cada um desses países). Nesses países, as pesquisas online deixam de abranger menos de 5% da população total.

Claro, a penetração geral da internet só é relevante se você quiser tirar conclusões que sejam representativas da população em geral. Em muitos casos, porém, os resultados só precisam ser representativos da população que usa a internet, especialmente quando o tema da pesquisa é comércio eletrônico, publicidade online ou assuntos parecidos. Nesse caso, você não precisa se preocupar se não conseguir incluir os chamados “não usuários da internet”.

E quem são exatamente esses que não usam a internet? No passado, o público que usava a internet era bem mais jovem, tinha maior nível de escolaridade e se interessava mais por tecnologia. Essas diferenças foram desaparecendo nos últimos anos e continuam a desaparecer, à medida que a penetração geral da internet aumenta. Especialmente o surgimento do uso da internet móvel fez com que pessoas com menor nível de escolaridade e mais velhas passassem a usar a internet.

No fim das contas, o viés de cobertura só é relevante se você quiser tirar conclusões para a população em geral e não só a galera que tá na internet. Nesse caso, você deveria tentar descobrir se o tema da sua pesquisa tem a ver com nível de escolaridade ou conhecimento técnico pra lidar com esse possível viés. Infelizmente, não há nada que você possa fazer a respeito como pesquisador. Se você realmente se preocupa com a qualidade dos dados, precisa escolher um método diferente de coleta de dados. No entanto, o viés de cobertura não é um problema tão grande para a maioria dos temas e na maioria dos países e, felizmente, está até diminuindo.

Viés de seleção

Antes de nos aprofundarmos no recrutamento para painéis, precisamos apresentar uma distinção muito importante. Sempre que você seleciona e convida ativamente membros qualificados para o painel, você tem controle total sobre quem entra no painel. É o que chamamos de recrutamento ativo. Por outro lado, sempre que você permite que as pessoas se inscrevam no painel por conta própria, você não tem controle sobre quem vai participar do painel. É o que chamamos de recrutamento aberto.

A maioria dos painéis funciona com recrutamento aberto, porque é uma forma bem econômica e simples de aumentar o número de participantes. No entanto, isso tem uma desvantagem clara. Em primeiro lugar, você vai atrair principalmente pessoas que têm interesse próprio em responder a pesquisas, e essas pessoas não são representativas da população em geral. Em segundo lugar, é quase impossível impedir a entrada no painel de pessoas que não atendam aos critérios demográficos exigidos ou que, de alguma forma, não cumpram seus padrões de qualidade.

Na Norstat, a gente acredita na qualidade do recrutamento ativo e, por isso, não temos uma página pública de inscrição para nossos painéis. Nos países onde temos call centers, a gente seleciona aleatoriamente pessoas da população em geral e as convida por telefone para participar dos nossos painéis. Isso faz com que nossos painéis sejam o mais representativos possível. Em todos os outros países, usamos uma combinação bem ampla de canais de recrutamento para evitar que uma única fonte tenha um impacto significativo na qualidade geral. Quem se inscreve por essas fontes é direcionado para uma página de inscrição oculta que pode ser desativada a qualquer momento. Na verdade, isso acontece sempre que identificamos problemas de qualidade ou comportamentos fraudulentos vindos de uma fonte específica de recrutamento. Por fim, podemos reforçar qualquer grupo demográfico com recrutamento direcionado, se acharmos que a estrutura do painel não está equilibrada.

Resumindo, se os provedores de painéis convidarem as pessoas erradas para participar dos seus painéis ou deixarem de incluir um grupo-alvo específico, o painel não será representativo. Todos os esforços nessa fase podem não ser visíveis para muitos compradores, mas eles definitivamente fazem a diferença entre um painel de pesquisa de alta qualidade e uma lista de e-mails não representativa. Por isso, você deve sempre comparar os provedores de painéis pela forma como eles recrutam participantes para seus painéis. E, a propósito, nossos formulários de cadastro são 100% compatíveis com dispositivos móveis, para garantir que não excluamos usuários de celular de participar do nosso painel. Você ficaria surpreso com a quantidade de painéis em que isso ainda não é um padrão. Voltaremos a esse assunto mais tarde.

Viés de não resposta

Vamos supor que a gente tenha um painel online representativo agora. Se a gente tirasse uma amostra aleatória dos membros do painel, essa amostra também seria representativa. Infelizmente, nem todos os membros clicariam no link do e-mail de convite. Alguns grupos responderiam bem rápido, outros precisariam de mais tempo e alguns mal responderiam. No final do período de coleta, o conjunto de dados não seria representativo da população-alvo, embora tivesse sido uma amostra aleatória perfeita no começo.

A falta de resposta é um problema sério – não só para pesquisas online, mas para todos os métodos de coleta de dados. Curiosamente, os painéis online, em especial, conseguem taxas de resposta satisfatórias, porque seus membros esperam receber convites para pesquisas regularmente. Além disso, com o tempo, eles aprenderam que podem confiar no provedor do painel no que diz respeito à privacidade e à proteção de dados. Essa é provavelmente a maior diferença em relação às ligações dos entrevistadores por telefone, que são não solicitadas. Além disso, na pesquisa online, dá pra simplesmente estender o período de campo e enviar lembretes pra aumentar a taxa de resposta.

Para evitar distribuições distorcidas nos teus dados finais, é bom definir cotas. Elas podem ser cotas flexíveis (ou seja, o gerente de projeto vai tentar atingir a distribuição desejada da melhor maneira possível) ou cotas rígidas (ou seja, os entrevistados não poderão concluir a entrevista assim que você tiver coletado feedback suficiente nesse grupo-alvo). Uma terceira alternativa é usar fatores de ponderação para ajustar subgrupos super- ou sub-representados.

No fim das contas, o viés de não resposta pode distorcer seus resultados drasticamente. Felizmente, a Norstat consegue taxas de resposta acima da média graças ao nosso foco rigoroso na motivação dos nossos membros.

Viés de exclusão

Por último, mas não menos importante, precisamos falar sobre dispositivos móveis. Se o seu modelo de pesquisa não permitir que usuários de dispositivos móveis respondam ao seu questionário, você vai perder sistematicamente uma grande parte da população. Dependendo do país, cerca de dois terços da população usam a internet com frequência por meio de um smartphone, tablet ou computador. Por isso, excluí-los de uma pesquisa pode ter um impacto enorme na qualidade geral do seu estudo.

Lembra que, muitas vezes, o viés de exclusão é esquecido quando se fala em representatividade, principalmente se você não levar a sério a qualidade dos dados nas etapas anteriores. Se a página de inscrição do seu painel não for otimizada para dispositivos móveis, você acaba excluindo sistematicamente os usuários de celular logo no início. E se você não usar modelos de e-mail responsivos ou um aplicativo móvel ao convidar os membros do seu painel, a taxa de resposta pode ser menor, porque você também acaba perdendo os usuários de dispositivos móveis.

Resumindo, se você quer resultados representativos, precisa garantir que sua pesquisa seja compatível com todos os dispositivos. Na Norstat, temos uma longa experiência em elaboração de questionários e ficaremos felizes em criar sua pesquisa da melhor maneira possível e para todos os dispositivos .

A conclusão

Então, até que ponto a pesquisa online é representativa? A gente acredita que ela pode ser bem representativa, desde que você não abra mão da qualidade. Na Norstat, a gente se esforça ao máximo para oferecer o serviço de alta qualidade que nossos clientes esperam de nós. E tentamos ser o mais transparentes possível nesse processo, porque não temos nada a esconder.

Mas você também pode ver que muitas coisas podem dar errado ao realizar pesquisas online com painéis. Isso não significa que outros métodos tenham mais vantagens; seus desafios são apenas diferentes. De qualquer forma, a pesquisa online exige um cuidado profissional para gerar resultados confiáveis e representativos.

Fica à vontade para entrar em contato conosco, se quiser saber mais sobre nossos padrões de qualidade. Estamos ansiosos para ouvir de você!