Quelle est la représentativité de la recherche en ligne ?

La représentativité est comme l’Eldorado des études de marché : un lieu mystique dont l’existence se transmet de bouche à oreille, même si elle n’est guère documentée dans la littérature. Notre objectif est d’évaluer la représentativité de la recherche en ligne et d’examiner quatre biais importants qui peuvent potentiellement avoir un impact sur les résultats des études en ligne.

Que signifie le terme “représentant” ?

En règle générale, le terme “représentatif” fait référence à quelque chose qui reflète fidèlement ou correspond à un groupe ou à un ensemble plus large. Dans les études de marché, on parle de représentativité de l’échantillon. Un échantillon représentatif est censé refléter les caractéristiques de la population décidée. Dans ce contexte, une population désigne un groupe défini de personnes partageant un ensemble de caractéristiques similaires (par exemple, données démographiques, sexe ou autres variables telles que les propriétaires actuels de chiens). L’idée est que l’échantillon doit permettre de tirer des conclusions valables sur l’ensemble du groupe.

C’est pourquoi nous disons que un échantillon est représentatif si les résultats de l’analyse de l’échantillon peuvent également être considérés comme vrais pour l’ensemble de la population correspondante.

Si vous analysez cette définition de la représentativité, vous constaterez qu’il n’y a pas de représentativité en tant que telle. Le terme “représentant” doit toujours être accompagné d’un “pour”, par exemple

  • représentatif de la population générale (c’est-à-dire représentatif au niveau national)
  • représentatif de la population générale âgée de 18 à 65 ans
  • représentatif de la population internet âgée de 18 à 65 ans

Les statisticiens affirment que seuls les échantillons aléatoires peuvent être représentatifs. Selon leur logique, les échantillons de quotas ne peuvent pas être représentatifs car il est impossible de connaître les bons quotas avant la réalisation d’une étude représentative. Il s’agit toutefois d’un argument très théorique. Dans la pratique, les chercheurs ont une connaissance approfondie de la répartition des variables au sein de leurs groupes cibles et peuvent fixer les quotas en conséquence. En outre, les données de recensement des offices statistiques nationaux permettent aux chercheurs de valider et d’ajuster leurs modèles en permanence.

Dans le même temps, il est de plus en plus difficile de constituer un échantillon aléatoire parfait. Les entretiens téléphoniques ou personnels, par exemple, doivent faire face à une proportion croissante de personnes qui refusent de participer à des projets de recherche. Même ces méthodes ont donc leurs limites. En fin de compte, les techniques d’échantillonnage aléatoire sont beaucoup plus coûteuses et, pour de nombreuses questions de recherche, n’apportent qu’une faible valeur ajoutée par rapport à l’échantillonnage par quotas.

La recherche en ligne est-elle biaisée ?

Quatre étapes doivent être franchies avant qu’un groupe de personnes issues de la population générale puisse laisser ses réponses dans un fichier de données. La section suivante analyse ces quatre étapes et souligne les limites correspondantes en matière de représentativité.

Biais de couverture

Si vous voulez évaluer la représentativité de la population générale, vous devriez commencer par examiner la pénétration de l’internet. En Europe, 84 % de la population en moyenne utilise l’internet quotidiennement. En Europe occidentale et septentrionale, le taux de pénétration de l’internet est nettement plus élevé, avec d’excellentes valeurs en Norvège, au Danemark et aux Pays-Bas (96 % chacun). Dans ces pays, la recherche en ligne ne touche que moins de 5 % de la population totale.

Bien entendu, la pénétration globale de l’internet n’est pertinente que si l’on veut tirer des conclusions représentatives de la population générale. Dans de nombreux cas, les résultats doivent simplement être représentatifs de la population en ligne, en particulier lorsque le sujet de la recherche concerne le commerce électronique, la publicité en ligne ou d’autres sujets similaires. Dans ce cas, vous n’avez pas à craindre de manquer les “non-linéaires”.

Et qui sont ces non-linéaires au juste ? Par le passé, la population en ligne était considérablement plus jeune, mieux éduquée et plus intéressée par la technologie. Ces différences se sont estompées au cours des dernières années et continuent de disparaître à mesure que la pénétration globale de l’internet augmente. L’avènement de l’internet mobile, en particulier, a incité les personnes moins instruites et plus âgées à utiliser l’internet.

En somme, le biais de couverture n’est pertinent que si l’on veut tirer des conclusions pour la population générale, le biais de couverture n’est pertinent que si l’on veut tirer des conclusions pour la population générale et pas seulement la population en ligne. Dans ce cas, vous devez essayer de déterminer si votre sujet de recherche est lié à l’éducation ou à l’affinité technique afin de remédier à ce biais éventuel. Malheureusement, il n’y a rien que vous puissiez faire en tant que chercheur. Si la qualité des données vous préoccupe vraiment, vous devez choisir une autre méthode de collecte des données. Toutefois, la partialité de la couverture n’est pas trop problématique pour la plupart des sujets et dans la plupart des pays et, heureusement, elle est même en baisse.

Biais de sélection

Avant de nous pencher plus avant sur le recrutement par panel, nous devons introduire une distinction très importante. Lorsque vous sélectionnez et invitez activement les membres éligibles du panel, vous contrôlez parfaitement les personnes qui rejoignent le panel. C’est ce que nous appelons le recrutement actif. En revanche, lorsque vous permettez aux personnes de s’inscrire elles-mêmes au panel, vous ne contrôlez pas les personnes qui rejoignent le panel. C’est ce qu’on appelle le recrutement ouvert.

La plupart des panels fonctionnent sur la base d’un recrutement ouvert, car il s’agit d’un moyen très rentable et simple de développer un panel. Cependant, il y a un inconvénient évident à cela. Tout d’abord, vous attirerez principalement des personnes qui ont un intérêt personnel à participer à des enquêtes et qui ne sont pas représentatives de la population générale. Deuxièmement, il est pratiquement impossible d’exclure d’un panel les personnes qui ne répondent pas aux critères démographiques requis ou qui ne respectent pas, d’une manière ou d’une autre, vos normes de qualité.

Chez Norstat, nous croyons en la qualité du recrutement actif et, par conséquent, nous n’avons pas de page d’inscription publique à nos panels. Dans les pays où nous disposons de centres d’appel, nous sélectionnons au hasard des personnes dans la population générale et les invitons par téléphone à participer à nos panels. Nos panels sont ainsi aussi représentatifs que possible. Dans tous les autres pays, nous utilisons un très large éventail de canaux de recrutement afin d’éviter qu’une source unique n’ait un impact majeur sur la qualité globale. Les personnes qui s’inscrivent à partir de ces sources sont dirigées vers une page d’abonnement cachée qui peut être fermée à tout moment. En fait, cela se produit chaque fois que nous identifions des problèmes de qualité ou des comportements frauduleux provenant d’une source de recrutement spécifique. Enfin, nous pouvons renforcer n’importe quel groupe démographique par un recrutement ciblé, si nous estimons que la structure du panel n’est pas équilibrée.

En résumé, si les fournisseurs de panels invitent les mauvaises personnes à participer à leurs panels ou s’ils ne s’adressent pas à un groupe cible spécifique, le panel n’est pas représentatif. Tous les efforts déployés à ce stade ne sont peut-être pas visibles pour de nombreux acheteurs, mais ils font la différence entre un panel de recherche de haute qualité et une liste de diffusion non représentative. C’est pourquoi vous devez toujours comparer les fournisseurs de panels en fonction de la manière dont ils recrutent leurs membres. D’ailleurs, nos formulaires d’inscription sont 100 % adaptés aux téléphones portables afin de ne pas exclure les utilisateurs de téléphones portables de notre panel. Vous seriez surpris par le nombre de panneaux qui ne constituent pas encore une norme. Nous reviendrons sur ce sujet plus tard.

Biais de non-réponse

Supposons que nous disposions d’un panel en ligne représentatif. Si nous tirions un échantillon aléatoire des membres du panel, cet échantillon serait également représentatif. Malheureusement, tous les membres ne cliquent pas sur le lien contenu dans l’e-mail d’invitation. Certains groupes répondront très rapidement, d’autres auront besoin de plus de temps et d’autres encore ne répondront pratiquement pas. À la fin de la période de terrain, l’ensemble des données ne serait pas représentatif de la population cible, alors qu’il s’agirait d’un échantillon aléatoire parfait au départ.

La non-réponse est un problème sérieux, non seulement pour la recherche en ligne, mais aussi pour toutes les méthodes de collecte de données. Il est intéressant de noter que ce sont surtout les panels en ligne qui obtiennent des taux de réponse satisfaisants, car leurs membres s’attendent à recevoir régulièrement des invitations à participer à des enquêtes. En outre, ils ont appris au fil du temps qu’ils pouvaient faire confiance au fournisseur du panel en ce qui concerne la protection de la vie privée et des données. C’est probablement la plus grande différence avec les appels des enquêteurs téléphoniques, qui ne sont pas sollicités. En outre, dans le cas d’une recherche en ligne, il suffit de prolonger la période de terrain et d’envoyer des rappels pour augmenter le taux de réponse.

Pour éviter les distributions asymétriques dans vos données finales, vous devez fixer des quotas. Il peut s’agir de quotas souples (le chef de projet s’efforcera d’atteindre la répartition souhaitée en faisant de son mieux) ou de quotas stricts (les personnes interrogées ne seront pas en mesure de terminer l’entretien une fois que vous aurez recueilli suffisamment d’informations dans ce groupe cible). Une troisième solution consiste à utiliser des facteurs de pondération pour tenir compte des sous-groupes surreprésentés ou sous-représentés.

Dans l’ensemble, le le biais de non-réponse peut fausser considérablement vos résultats. Heureusement, Norstat obtient des taux de réponse supérieurs à la moyenne grâce à l’attention rigoureuse que nous portons à la motivation de nos membres.

Biais d’exclusion

Enfin, nous devons parler des appareils mobiles. Si votre modèle d’enquête ne permet pas aux utilisateurs mobiles de répondre à votre questionnaire, vous passerez systématiquement à côté d’une grande partie de la population. Selon le pays, environ deux tiers de la population utilisent fréquemment l’internet avec un smartphone, une tablette ou un ordinateur. Par conséquent, les exclure d’une enquête peut avoir un impact considérable sur la qualité globale de votre étude.

Veuillez noter que le biais d’exclusion est très souvent oublié lorsque l’on parle de représentativité, en particulier si la qualité des données n’a pas été sérieusement prise en compte dans les étapes précédentes. Si la page d’inscription de votre panel n’est pas adaptée aux mobiles, vous excluez systématiquement les utilisateurs mobiles à un stade précoce. Et si vous n’utilisez pas de modèles d’e-mails réactifs ou d’application mobile pour inviter les membres de votre panel, le taux de réponse risque d’être plus faible, car vous n’aurez pas non plus accès aux utilisateurs mobiles.

En bref, si vous souhaitez obtenir des résultats représentatifs, vous devez vous assurer que votre enquête est adaptée à tous les appareils. Chez Norstat, nous avons une longue expérience dans la conception de questionnaires et nous serons heureux de scénariser votre enquête de la meilleure façon possible et pour tous les appareils..

La conclusion

Quelle est donc la représentativité de la recherche en ligne ? Nous pensons qu’il peut être très représentatif, à condition de ne pas faire de compromis sur la qualité. Chez Norstat, nous faisons de notre mieux pour offrir à nos clients la qualité qu’ils attendent de nous. Nous essayons d’être aussi transparents que possible dans ce processus, car nous n’avons rien à cacher.

Mais vous pouvez également constater que de nombreux problèmes peuvent survenir lorsque vous effectuez des recherches en ligne à l’aide de panels. Cela ne signifie pas que les autres méthodes présentent plus d’avantages, les défis sont simplement différents. Dans tous les cas, la recherche en ligne nécessite une attention professionnelle afin de générer des résultats fiables et représentatifs.

N’hésitez pas à nous contacter si vous souhaitez en savoir plus sur nos normes de qualité. Nous sommes impatients de vous entendre !

Vous allez collecter des données dans le cadre d’une étude de marché ?

Nous souhaitons participer à votre réussite.

Commencer