Kwaliteit van algoritmen = kwaliteit van data

Inzicht moet onze acties leiden door ze een structuur te geven. En inzichten volgen de structuur van de onderliggende data. Structuren zijn per definitie stabiel en bestand tegen verstoringen. Dit is precies de reden waarom wij geloven in de waarde van een hoge datakwaliteit. Als je stabiele bedrijfsroutines instelt die gebaseerd zijn op gebrekkige data of inzichten, zal de slechte kwaliteit in je acties blijven bestaan. Data heeft een lange levensduur en daarom moet de kwaliteit ervan worden beschouwd als een aanwinst dat zich in de toekomst blijft terugbetalen.

Een heel goed voorbeeld van de levensduur van data zijn trainingssamples voor algoritmen. Elke afwijking in de trainingsdata zal steeds opnieuw worden gereproduceerd en mogelijk worden versterkt door het algoritme. We hebben in het verleden veel enge voorbeelden gezien van dergelijke machinevertekeningen en beginnen nu pas de implicaties ervan te begrijpen (Heb je er trouwens ooit over nagedacht om met een dataverzamelaar zoals Norstat te praten over trainingssamples voor je machine-learningprojecten?)

Ons punt hier is dat alle algoritmen zelf een hoge kwaliteit moeten hebben als ze de datakwaliteit willen verbeteren. Omgekeerd kan de datakwaliteit nog slechter worden als de algoritmen gebrekkig zijn. En, hoe goed algoritmes in de toekomst ook mogen werken, ze zullen ons alleen kunnen helpen om kwaliteitsverlies te beperken tijdens het verwerken, maar nooit in staat zijn om slechte input om te zetten in hoogwaardige output.

Dit gezegd hebbende, laten we eens duiken in enkele gebieden van hoe dergelijke algoritmen op een dag kunnen worden toegepast in survey-onderzoek.

Werving van panels

Werven bij een online access panel moet worden gezien als de eerste fase van het steekproefproces voor jouw project. Als je niet werft met de hoogste normen voor het panel, eindig je met een bevooroordeelde bron voor het tekenen van projectvoorbeelden. Het behoeft geen verdere uitleg dat je geen onbevooroordeelde steekproef kunt trekken uit een bevooroordeeld panel. Daarom zijn we zo nauwgezet in het werven van panels. Maar hoe kunnen algoritmen ons helpen om de kwaliteit van de werving te verbeteren?

1. Om een panel in vorm te houden, zijn zeer complexe beslissingen nodig waarbij verschillende parameters tegen elkaar moeten worden afgewogen. We moeten bijvoorbeeld de samenstelling van het panel in de gaten houden en afmeldingen vervangen. Tegelijkertijd moeten we voorspellen hoeveel panels we nodig hebben om in de nabije toekomst aan alle aanvragen te kunnen voldoen. En we worden beperkt door het beschikbare budget en het haalbare wervingsvolume gedurende een bepaald tijdsbestek. Dus hoe moeten we onze middelen toewijzen? Algoritmes kunnen onze overwegingen ondersteunen door ons te wijzen op de belangrijkste demografische data en wervingskanalen waar we ons nu op moeten richten en ons helpen om met minder moeite een evenwichtig panel samen te stellen.
2. Zodra mensen zich inschrijven op het panel, moet hun identiteit worden geverifieerd, simpelweg omdat we zeker moeten weten dat deze mensen zijn wie ze zeggen dat ze zijn. Als we ze via de telefoon werven, kunnen we er zeker van zijn dat we echt met een echt persoon spreken. Hoewel het misschien nog steeds niet zo makkelijk is als het lijkt aan de telefoon, is het verifiëren van de identiteit van online gebruikers zeker iets dat je niet kunt concluderen tijdens het eerste contact. In plaats daarvan moet het worden gezien als een proces, waarbij je steeds meer vertrouwen krijgt in de identiteit van een lid nadat je er in het begin voor hebt gezorgd dat aan een aantal basisvereisten zijn voldaan. Algoritmes kunnen ons helpen om dat proces te versnellen door meer datapunten op te nemen in een veel complexere analyse. Dergelijke algoritmen kunnen ook onthullen of twee verschillende personen hetzelfde e-mailadres, dezelfde computer of hetzelfde panelaccount delen.
3. Het verifiëren van gebruikers gaat hand in hand met het controleren op duplicaten. Op een heel oppervlakkig niveau wordt dit gedaan door persoonlijk identificeerbare informatie van verschillende leden te vergelijken, zoals namen, e-mail- of IP-adressen. Maar het is altijd de moeite waard om een diepere blik te werpen op vergelijkbare profielen, vergelijkbare reactiepatronen en mogelijke verbanden tussen verdachte profielen of apparaten. Nogmaals, omdat het vinden van een naald in een hooiberg erg tijdrovend en complex kan zijn, kan automatisering de frequentie en verfijning van dergelijke kwaliteitscontroles verhogen.

Onlangs zijn er berichten verschenen over professionele onderzoeksboerderijen, waar nepleden worden ingeschreven bij panels om op grote schaal incentives te kunnen claimen. Dit fenomeen komt overeen met onze ervaring dat online panels herhaaldelijk een doelwit worden voor fraudeurs. We willen geen details vrijgeven, maar we hebben wel geautomatiseerde algoritmische routines die frauduleuze inschrijvingen op ons panel voorkomen, afwijkingen in het gedrag van onze gebruikers signaleren en verdachte pogingen om incentives in te wisselen melden.

Paneel Profilering

Veel van onze panelleden zijn meer dan tien jaar geleden lid geworden en hun levensstijl is in al die jaren natuurlijk veranderd. Ze zullen allemaal ouder zijn geworden. Sommigen trouwden, anderen scheidden. Sommigen kregen kinderen, terwijl de kinderen van anderen de familie misschien al hadden verlaten. Sommigen kregen promotie, sommigen gingen met pensioen. Sommigen verhuisden naar een nieuw huis, in sommige gevallen zelfs naar een andere stad. Ze hebben misschien nieuwe auto’s en nieuwe huishoudelijke apparaten gekocht. Ze zijn misschien van bank, verzekering of telefoonprovider veranderd. Wat er ook gebeurd is in het leven van onze panelleden, met bijgewerkte profielinformatie kunnen we nauwkeurigere steekproeven trekken.

We vragen onze panelleden al om al hun profielvariabelen regelmatig bij te werken; er is hier dus geen behoefte aan een geavanceerder algoritme. Met meer dan 500 datapunten voor de meeste van onze panelleden is het echter mogelijk dat sommige informatie nog steeds niet nauwkeurig is en moeten we in principe op zoek naar uitschieters. Terwijl de eenstapmethode methode vrij eenvoudig is (“toon me alle leden waarvan de leeftijd hoger is dan 120 jaar”), zijn meervoudige benaderingen statistisch veel complexer (“toon me alle leden waarvan de combinatie van verschillende variabelen ongebruikelijk is”). Als je bijvoorbeeld een 16-jarige persoon hebt met een jaarinkomen van 50.000 euro, dan liggen leeftijd en inkomen waarschijnlijk binnen het bereik van normale waarden. De combinatie zal echter een zichtbare uitschieter zijn op de spreidingsdiagram. Algoritmen kunnen helpen om deze uitschieters te identificeren en te markeren.

Algoritmen kunnen ook helpen om de waarschijnlijkheid van bepaalde ontbrekende waarden in te schatten. Als we bijvoorbeeld panelleden met een hoog inkomen specifiek willen benaderen voor een onderzoek, maar we komen een groot aantal panelleden tegen die deze profielvraag niet hebben beantwoord, dan moeten we hun inkomen schatten op basis van andere vragen. We kunnen bijvoorbeeld mensen uitnodigen die een huis bezitten, meer dan één auto in hun huishouden hebben of heel vaak reizen. Op dezelfde manier kunnen we de waarschijnlijkheid berekenen van elke andere ontbrekende variabele, gegeven de bekende correlaties met wat we hebben. Hierdoor zouden we onze steekproeven nauwkeuriger kunnen trekken.

Maar voorzichtig! Dit is een van de gevallen die we in gedachten hadden toen we onze disclaimer in de inleiding schreven. We moeten ervoor zorgen dat het algoritme de algemene kwaliteit van ons steekproef niet schaadt. Als we bijvoorbeeld frequente reizigers uitnodigen in plaats van mensen met een hoog inkomen, kunnen we ontdekken dat onze steekproef vertekend is: verrassend genoeg zullen de meeste van onze respondenten met een hoog inkomen vaak reizen. Daarom moeten we ervoor zorgen dat de kwaliteit van ons voorspellende model goed genoeg is om de algehele kwaliteit van ons onderzoek te verbeteren.

Panel Onderhoud

We zijn ervan overtuigd dat er een sterk verband bestaat tussen de motivatie van onze panelleden en de kwaliteit van hun antwoorden. In onze volgende voorbeelden ondersteunen algoritmen onze inspanningen om panelleden een betere lidmaatschapservaring te geven en leveren ze op die manier een bijdrage aan de datakwaliteit.

Het doel van deelname aan een panel is het afnemen van enquêtes. Alles wat de aantrekkelijkheid van deelname aan enquêtes verhoogt, draagt op de een of andere manier ook bij tot een positieve lidmaatschapservaring. Een belangrijke factor om de respons te verhogen is de juiste timing van het versturen van uitnodigingen. Op een maandagochtend, wanneer je e-mail inbox overvol is, negeer je waarschijnlijk liever een uitnodiging voor een enquête om je bezig te kunnen houden met de meer dringende zaken. Vlak na de lunch daarentegen heb je misschien nog steeds zin in een pauze, dus een afleiding kan heel welkom zijn. In het algemeen zouden algoritmes ons kunnen helpen om de juiste dag te bepalen voor elk panellid en meldingen uit te stellen tot momenten waarop ze waarschijnlijk meer aandacht zullen krijgen.

Deze techniek kan veel verder gaan dan alleen het gebruik overdag en ook andere data omvatten, zoals gebruikspatronen van de panel-app (bijv. geolocatie, gyroscoop). Als panelleden bijvoorbeeld willekeurig hun telefoon in de hand draaien terwijl ze thuis zijn, ervaren ze misschien een onderbreking en zijn ze meer geneigd om op dat moment te reageren op pushmeldingen.

Steekproef

Nauw verwant hiermee is steekproef automatisering. Weinig is frustrerender voor panelleden dan uitgenodigd te worden voor een enquête die al gesloten is, gedeeltelijk voor een bepaald quotum of volledig. Daarom stuur je meestal steeds kleinere steekproeven terwijl het veld vordert om het gewenste aantal completes te benaderen zonder overvolle quota’s te krijgen. Om voor de hand liggende redenen is dit behoorlijk arbeidsintensief en kan het ook behoorlijk complex worden naarmate je meer quota hebt. Geautomatiseerde steekproeftrekking kan helpen om het verlies van steekproeven te minimaliseren door uitnodigingen voor enquêtes in kleinere en frequentere groepen te verzenden dan een menselijke iemand zou kunnen doen. Dit is een techniek die we al toepassen voor voorbeelddefinities die niet al te complex zijn. Bovendien kan statistisch geschatte profielinformatie in de toekomst worden gebruikt, zolang dergelijke algoritmen geen nieuwe bron voor fouten worden (zie hierboven).

Een andere techniek om de negatieve ervaring van screen outs en mislukte quota’s te verminderen, is routering. Er zijn twee fundamentele manieren om dit aan te pakken. De domme manier, die we waarschijnlijk allemaal wel eens hebben gezien, is om respondenten in een eindeloze stroom van enquêtescreeners te houden totdat ze in aanmerking komen. Als je de eindpagina van een enquête bereikt, krijg je onmiddellijk de kans om je te kwalificeren voor een andere vragenlijst. We zijn nogal sceptisch over deze aanpak, omdat het de motivatie van respondenten in gevaar kan brengen en overtredingen en ander bevredigend responsgedrag kan aanmoedigen.

Er is echter een slimmere manier om over routing na te denken. Je nodigt panelleden op een ouderwetse manier uit en vertelt hen dat er een nieuwe enquête voor hen beschikbaar is. Zodra ze op de link in de uitnodiging klikken, worden ze naar een open enquête geleid die het beste bij hun profiel past. Zelfs als het onderzoek waaraan ze oorspronkelijk waren toegewezen is afgesloten, mogen ze deelnemen aan een ander onderzoek. Met deze methode van routeren is het risico dat de kwaliteit van de steekproef in het gedrang komt aanzienlijk lager, omdat alleen een kleine overloop wordt omgeleid. Bovendien worden respondenten niet geconfronteerd met eindeloze reeksen enquêtescreens, maar beantwoorden ze slechts één enquête per keer. Je hebt in ieder geval een slim algoritme nodig dat alle profielen van leden die nog niet hebben gereageerd bijhoudt, evenals alle doelgroepdefinities van beschikbare onderzoeken en uiteindelijk een perfecte match maakt. Op deze manier kun je de motivatie verbeteren van panelleden om deel te nemen.

Tijdens het interview

Elk onderzoek is uniek. Dit maakt het erg moeilijk om algemene maatstaven voor kwaliteitscontrole te definiëren die in alle gevallen passen. Algoritmen kunnen echter helpen om de responskwaliteit te vergelijken van een interview met alle voorgaande interviews. Loopt een respondent aanzienlijk sneller door de vragenlijst dan anderen? Zijn antwoorden in tekstvakken korter of bevatten ze onzin? En hoe zit het met de variatie in rastervragen? Al deze indicatoren kunnen een groter beeld schetsen en verschillende acties in gang zetten als een bepaalde drempel wordt bereikt. Je zou het algoritme het interview kunnen laten markeren voor handmatige inspectie, een waarschuwing kunnen laten weergeven aan de respondent, een afleidingsvraag kunnen laten invoegen om onoplettende respondenten te screenen of het hele interview meteen uit de database kunnen verwijderen.

Een andere techniek is het opzettelijk primen van respondenten om onbewust de kwaliteit van hun respons te verhogen. Hier wordt een tussenpagina met verleidelijke inhoud gepresenteerd vóór de relevante vragen om de respondent in de juiste stemming te brengen voor de komende taak. Omdat deze techniek niet voor alle respondenten even effectief is en de lengte van een interview kan opdrijven, kunnen algoritmes helpen om de juiste primers alleen aan de juiste mensen op precies het juiste moment te presenteren. Ook deze technieken moeten voorzichtig worden toegepast met het oog op de algehele kwaliteit, omdat ze ook schade kunnen aanrichten.

Tot nu toe hebben we het alleen gehad over online onderzoek, dat geen verdere uitleg nodig heeft. Andere methoden van dataverzameling zijn echter ook onderworpen aan digitalisering en kunnen baat hebben bij algoritmen. Denk bijvoorbeeld aan telefonische interviews. Algoritmes kunnen de stem van de respondent analyseren en een analyse uitvoeren tijdens het interview. Deze informatie kan niet alleen nuttig zijn om de informatie in context te plaatsen bij het achteraf analyseren van de data, maar kan ook waardevolle feedback geven aan de interviewer tijdens het gesprek met de respondent. Maar, zoals gezegd, het is erg moeilijk om maatregelen te definiëren die bij elk onderzoek passen.

dataverwerking

Nadat alle data verzameld is, moeten er meestal nog een paar stappen genomen worden voordat de data geanalyseerd word. De eerste stap bestaat uit het opschonen van de data, d.w.z. het verwijderen van gevallen die niet gebruikt kunnen worden voor analyse. Gezien alle bovenstaande stappen zou dit niet al te veel tijd en moeite meer moeten kosten. De volgende stap is het coderen van alle ongestructureerde data, vooral open antwoorden uit tekstvakken. Algoritmen kunnen herkennen of een bestaand codeplan van toepassing is (bijv. een lijst van merken in een bepaalde categorie) of getraind worden om een nieuw codeplan te leren en toe te passen. Verschillende talen kunnen automatisch worden herkend en vertaald. Ten slotte kan alle data worden gewogen om kleinere afwijkingenin de samenstelling te corrigeren of om ze af te stemmen op verschillende eenheden van de basis (bijvoorbeeld of de feedback representatief is voor alle inwoners of voor alle huishoudens).

Samengevat

Sommige van de technieken die in dit artikel worden beschreven, bestaan al, andere moeten nog worden ontwikkeld. En naast dit “laaghangende fruit” zijn er nog tal van andere toepassingsgebieden waar algoritmen de manier waarop we met data werken kunnen vergemakkelijken.

Wat we ook doen, we streven naar de best mogelijke kwaliteit en we aarzelen om methoden toe te passen die onze hoge normen in gevaar brengen. We horen graag van je als je meer wilt weten of een vraag hebt.