Como os algoritmos podem nos ajudar a melhorar a qualidade dos dados?

Qualidade dos algoritmos = qualidade dos dados

As percepções devem guiar nossas ações, dando-lhes uma estrutura. E essas percepções seguem a estrutura dos dados subjacentes. Por definição, as estruturas são estáveis e resistem a perturbações. É exatamente por isso que acreditamos no valor de uma alta qualidade dos dados. Se você estabelecer rotinas de negócios estáveis com base em dados ou percepções falhos, a má qualidade vai continuar presente nas suas ações. Os dados têm uma longa vida útil e, por isso, sua qualidade deve ser vista como um ativo que continua rendendo frutos no futuro.

Um ótimo exemplo da longevidade dos dados são as amostras de treinamento para algoritmos. Qualquer viés nos dados de treinamento vai ser reproduzido várias vezes e pode até ser amplificado pelo algoritmo. Já vimos muitos exemplos assustadores desses vieses de máquinas no passado e estamos só começando a entender as implicações (aliás, já pensou em conversar com uma empresa de coleta de dados, como a Norstat, sobre amostras de treinamento para seus projetos de aprendizado de máquina?).

O que queremos dizer é que todos os algoritmos precisam ser de alta qualidade para que possam melhorar a qualidade dos dados. Por outro lado, se os algoritmos tiverem falhas, a qualidade dos dados pode piorar ainda mais. E, por melhor que os algoritmos venham a funcionar no futuro, eles só vão conseguir nos ajudar a reduzir a perda de qualidade durante o processamento, mas nunca vão conseguir transformar dados ruins em resultados de alto valor.

Dito isso, vamos dar uma olhada em algumas áreas em que esses algoritmos podem, um dia, ser aplicados em pesquisas de opinião.

Recrutamento para o painel

O recrutamento para um painel de acesso online deve ser visto como a primeira etapa do processo de amostragem do seu projeto. Se você não recrutar para o painel seguindo os mais altos padrões, vai acabar com uma fonte tendenciosa para a seleção de amostras do projeto. Nem precisa explicar que não dá para tirar uma amostra imparcial de um painel tendencioso. É por isso que somos tão meticulosos no recrutamento para o painel. Mas como os algoritmos poderiam nos ajudar a melhorar a qualidade do recrutamento?

1. Manter um painel em boa forma exige decisões bem complexas, que podem envolver escolhas entre diferentes parâmetros. Por exemplo, precisamos ficar de olho na composição do painel e repor quem cancelar a inscrição. Ao mesmo tempo, temos que prever o tamanho necessário do painel para atender a todas as solicitações no futuro próximo. E a gente está limitado pelo orçamento disponível e pelo volume de recrutamento viável durante um determinado período. Então, como devemos distribuir nossos recursos? Os algoritmos podem ajudar nessas decisões, indicando os dados demográficos e os canais de recrutamento mais importantes nos quais devemos focar agora, e nos ajudar a construir um painel equilibrado com menos esforço.
2. Assim que as pessoas se inscrevem no painel, é preciso verificar a identidade delas, simplesmente porque precisamos ter certeza de que essas pessoas são quem dizem ser. Se a gente as recrutar por telefone, dá pra ter bastante certeza de que estamos falando com uma pessoa de verdade. Embora ainda possa não ser tão fácil quanto parece ao telefone, verificar a identidade de usuários online é definitivamente algo que você não consegue concluir logo no primeiro contato. Em vez disso, isso tem que ser visto como um processo, no qual você vai ganhando confiança sobre a identidade de um membro depois de ter garantido que alguns requisitos básicos foram atendidos logo no início. Algoritmos podem nos ajudar a acelerar esse processo, incluindo mais pontos de dados em uma análise bem mais complexa. Esses algoritmos também podem revelar se duas pessoas diferentes estão compartilhando o mesmo e-mail, computador ou conta de painel.
3. A verificação de usuários anda de mãos dadas com a verificação de duplicatas. Num nível bem superficial, isso é feito comparando informações de identificação pessoal de diferentes membros, como nomes, e-mails ou endereços IP. Mas sempre vale a pena dar uma olhada mais a fundo em perfis parecidos, padrões de resposta semelhantes e possíveis conexões entre perfis ou dispositivos suspeitos. Mais uma vez, como encontrar a agulha no palheiro pode ser muito demorado e complexo, a automação pode aumentar a frequência e a sofisticação dessas verificações de qualidade.

Recentemente, surgiram relatos sobre redes profissionais de pesquisas, nas quais membros falsos são inscritos em painéis com o objetivo de receber incentivos em grande escala. Esse fenômeno bate com a nossa experiência de que os painéis online são, repetidamente, alvo de golpistas. Não queremos revelar detalhes, mas temos rotinas algorítmicas automatizadas que impedem inscrições fraudulentas no nosso painel, sinalizam anomalias no comportamento dos nossos usuários e denunciam tentativas suspeitas de resgatar incentivos.

Perfilagem de painéis

Muitos dos membros do nosso painel entraram há mais de uma década e, claro, a vida deles mudou ao longo desses anos. Todos ficaram mais velhos. Alguns se casaram, outros se divorciaram. Alguns tiveram filhos, enquanto os filhos de outros talvez já tenham saído de casa. Alguns foram promovidos, outros se aposentaram. Alguns se mudaram para uma nova casa, em alguns casos até para outra cidade. Talvez tenham comprado carros novos e eletrodomésticos novos. Talvez tenham trocado de banco, de seguro e de operadora de celular. Seja o que for que tenha acontecido na vida dos nossos participantes, ter as informações de perfil atualizadas nos permite fazer amostragens mais precisas.

Já pedimos aos membros do nosso painel que atualizem todas as variáveis do perfil regularmente; por isso, não há necessidade de um algoritmo mais sofisticado aqui. No entanto, com mais de 500 pontos de dados para a maioria dos nossos participantes, algumas informações ainda podem não estar precisas e, basicamente, precisamos procurar valores atípicos. Enquanto o método univariado é bem simples (“mostra todos os membros com idade acima de 120 anos”), as abordagens multivariadas são estatisticamente muito mais complexas (“mostra todos os membros cuja combinação de diferentes variáveis seja incomum”). Por exemplo, se você tem uma pessoa de 16 anos com renda anual de 50.000 euros, a idade e a renda provavelmente estão dentro da faixa de valores normais. No entanto, essa combinação será um outlier visível no gráfico de dispersão. Os algoritmos podem ajudar a identificar e sinalizar esses outliers.

Os algoritmos também podem ajudar a estimar a probabilidade de certos valores ausentes. Por exemplo, se quisermos selecionar especificamente participantes do painel com renda alta para um estudo, mas nos depararmos com um grande número de participantes que não responderam a essa pergunta de perfil, precisamos estimar a renda deles com base em outras perguntas. Podemos, por exemplo, selecionar quem tem casa própria, mais de um carro na família ou viaja com muita frequência. Da mesma forma, poderíamos calcular a probabilidade de qualquer outra variável ausente, considerando as correlações conhecidas com os dados que já temos. Isso nos permitiria selecionar nossas amostras com mais precisão.

Mas cuidado! Esse é um dos casos que tínhamos em mente ao escrever nossa advertência na introdução. Temos que garantir que o algoritmo não prejudique a qualidade geral da nossa amostra. Por exemplo, se a gente acabar convidando viajantes frequentes em vez de pessoas com renda alta, podemos descobrir que nossa amostra está enviesada: surpreendentemente, a maioria dos nossos entrevistados com renda alta viaja com frequência. Por isso, a gente teria que garantir que a qualidade do nosso modelo preditivo seja boa o suficiente para melhorar a qualidade geral da nossa pesquisa.

Manutenção do painel

Temos certeza de que existe uma forte relação entre a motivação dos membros do nosso painel e a qualidade das respostas deles. Nos exemplos a seguir, os algoritmos ajudam a gente a oferecer aos participantes uma experiência melhor como membros e, assim, contribuem para a qualidade dos dados.

O objetivo de participar de um painel é responder a pesquisas. Tudo o que aumenta a atração de participar de pesquisas também contribui, de alguma forma, para uma experiência positiva como membro. Um fator importante para aumentar as taxas de resposta é o momento certo para enviar os convites. Numa segunda-feira de manhã, quando sua caixa de entrada está lotada, você provavelmente prefere ignorar um convite para pesquisa pra dar conta das coisas mais urgentes. Já logo depois do almoço, você ainda pode estar com vontade de dar uma pausa, então uma distração pode ser bem-vinda. De modo geral, os algoritmos podem nos ajudar a identificar o horário ideal para cada participante do painel e adiar as notificações para momentos em que eles provavelmente vão prestar mais atenção.

Essa técnica pode ir muito além do simples uso do horário do dia e também incluir outros dados, como padrões de uso do aplicativo do painel (por exemplo, geolocalização, giroscópio). Por exemplo, se os membros do painel ficarem girando os celulares aleatoriamente na mão enquanto estão em casa, eles podem passar por um momento de inatividade e ficar mais propensos a responder às notificações push naquele momento.

Amostragem

Intimamente relacionado a isso está a automação da amostragem. Poucas coisas são mais frustrantes para os participantes do que receber um convite para uma pesquisa que já foi encerrada, seja parcialmente por causa de uma cota específica, seja completamente. Por isso, geralmente você envia amostras cada vez menores à medida que a pesquisa avança, para chegar perto do número desejado de respostas completas sem que as cotas sejam excedidas. Por motivos óbvios, isso dá bastante trabalho e pode ficar bem complexo quanto mais cotas você tiver. A amostragem automatizada pode ajudar a minimizar a perda de amostra, enviando convites para a pesquisa em lotes menores e mais frequentes do que qualquer amostrador humano conseguiria fazer. Essa é uma técnica que já usamos para definições de amostra que não são muito complexas. Além disso, informações de perfil estimadas estatisticamente podem ser usadas no futuro, desde que esses algoritmos não se tornem uma nova fonte de falhas (veja acima).

Outra técnica para reduzir a experiência negativa das exclusões na triagem e das falhas de cota é o encaminhamento. Existem duas maneiras fundamentais de fazer isso. A maneira meio burra, que provavelmente todos já vimos em algum lugar no passado, é manter os respondentes em um fluxo interminável de triagens de pesquisa até que se qualifiquem. Depois de chegar à página final de uma pesquisa, você tem imediatamente a chance de se qualificar para outro questionário. Somos bastante céticos em relação a essa abordagem, pois ela pode comprometer a motivação dos respondentes e incentivar respostas apressadas e outros comportamentos de resposta “satisficing”.

No entanto, tem uma maneira mais inteligente de pensar no direcionamento. Você convida os membros do painel da maneira tradicional e avisa que tem uma nova pesquisa disponível pra eles. Assim que clicarem no link do convite, eles são direcionados para uma pesquisa aberta que melhor combina com o perfil deles. Mesmo que a pesquisa pra qual eles foram originalmente designados já esteja encerrada, eles poderão participar de outra pesquisa. Com esse método de direcionamento, o risco de comprometer a qualidade da amostra é bem menor, já que só um pequeno excedente (da amostragem automatizada) será redirecionado. Além disso, os participantes não vão se deparar com sequências intermináveis de triagens de pesquisa, mas vão responder, na verdade, a apenas uma pesquisa por vez. De qualquer forma, você precisa ter um algoritmo inteligente que acompanhe todos os perfis de membros que ainda não responderam, além de todas as definições de grupos-alvo dos estudos disponíveis, para, por fim, fazer uma combinação perfeita. Dessa forma, você aumentaria a motivação dos participantes do painel para participar.

Durante a entrevista

Cada estudo é único. Isso torna bem difícil definir medidas gerais de controle de qualidade que sirvam para todos os casos. No entanto, os algoritmos podem ajudar a comparar a qualidade das respostas de uma entrevista com todas as anteriores. Será que um entrevistado responde ao questionário bem mais rápido do que os outros? As respostas nas caixas de texto são mais curtas ou contêm bobagens? E quanto à variação nas perguntas de grade? Todos esses indicadores podem ajudar a traçar um panorama geral e acionar diferentes ações, caso um determinado limite seja atingido. Você pode fazer com que o algoritmo sinalize a entrevista para uma verificação manual, exiba um aviso para o entrevistado, insira uma pergunta capciosa para filtrar entrevistados desatentos ou remova a entrevista inteira do banco de dados na hora.

Outra técnica é preparar deliberadamente os entrevistados para melhorar, de forma subconsciente, a qualidade das respostas. Nesse caso, uma página intermediária com conteúdo leve é apresentada antes das perguntas relevantes, pra deixar o entrevistado no clima certo pra tarefa que vem a seguir. Como essa técnica não é igualmente eficaz para todos os entrevistados, mas pode aumentar demais a duração de uma entrevista, os algoritmos podem ajudar a apresentar os estímulos certos apenas para as pessoas certas, exatamente no momento certo. Mais uma vez, essas técnicas precisam ser aplicadas com cuidado, levando em conta a qualidade geral, já que também podem causar algum dano.

Até agora, só falamos sobre pesquisa online, o que não precisa de mais explicações. No entanto, outros métodos de coleta de dados também estão passando por digitalização e podem se beneficiar de algoritmos. Pensa nas entrevistas por telefone, por exemplo. Os algoritmos poderiam analisar a voz do entrevistado e fazer uma análise de sentimento durante a entrevista. Essas informações podem não só ajudar a contextualizar os dados na análise posterior, mas também dar um feedback valioso para o entrevistador enquanto ele conversa com o entrevistado. Mas, como já falamos, é bem difícil definir medidas que sirvam para todos os estudos.

Processamento de dados

Depois que todos os dados forem coletados, geralmente é preciso dar mais algumas etapas antes de poder analisá-los. A primeira etapa consiste em limpar os dados, ou seja, remover os casos que não podem ser usados na análise. Considerando todas as etapas acima, isso já não deve exigir muito tempo nem esforço. A próxima etapa é codificar todos os dados não estruturados, especialmente as respostas abertas nas caixas de texto. Os algoritmos podem reconhecer se um esquema de codificação já existente se aplica (por exemplo, uma lista de marcas em uma determinada categoria) ou podem ser treinados para aprender e aplicar um novo esquema de codificação. Diferentes idiomas podem ser reconhecidos e traduzidos automaticamente. Por fim, todos os dados podem ser ponderados para ajustar pequenas discrepâncias na composição ou para adequá-los a diferentes unidades de referência (por exemplo, se o feedback é representativo para todos os moradores ou para todas as famílias).

E daí?

Algumas das técnicas descritas neste artigo já estão em uso, outras ainda precisam ser desenvolvidas. E, além dessas “oportunidades fáceis”, há muitas outras áreas de aplicação em que os algoritmos podem facilitar a forma como trabalhamos com dados.

Seja o que for que façamos, buscamos sempre a melhor qualidade possível e hesitamos em adotar métodos que possam comprometer nossos altos padrões. Adoraríamos saber sua opinião se você quiser saber mais ou tiver alguma dúvida.