Jak nám mohou algoritmy pomoci zlepšit kvalitu dat?

Kvalita algoritmů = kvalita dat

Naše jednání by mělo vycházet z poznatků, které mu dodávají strukturu. A tyto poznatky se řídí strukturou podkladových dat. Struktury jsou ze své podstaty stabilní a odolávají narušením. Právě proto věříme v hodnotu vysoké kvality dat. Pokud zavedete stabilní obchodní postupy založené na chybných datech nebo poznatcích, jejich nízká kvalita se bude promítat i do vašich činností. Data mají dlouhou životnost, a proto by jejich kvalita měla být považována za aktivum, které se bude vyplatit i v budoucnu.

Velmi dobrým příkladem dlouhověkosti dat jsou trénovací vzorky pro algoritmy. Jakákoli zaujatost v trénovacích datech se bude opakovaně reprodukovat a algoritmus ji případně ještě zesílí. V minulosti jsme viděli mnoho děsivých příkladů takové zaujatosti strojů a teprve nyní začínáme chápat její důsledky (Mimochodem, přemýšleli jste někdy o tom, že byste se ohledně trénovacích vzorků pro vaše projekty strojového učení obrátili na společnost zabývající se sběrem dat, jako je například Norstat?).

Chceme tím říci, že všechny algoritmy musí být samy o sobě vysoce kvalitní, mají-li zlepšit kvalitu dat. Naopak, pokud jsou algoritmy chybné, může se kvalita dat ještě zhoršit. A bez ohledu na to, jak dobře budou algoritmy v budoucnu fungovat, budou nám schopny pomoci pouze omezit ztrátu kvality při zpracování dat, nikdy však nebudou schopny proměnit nekvalitní vstupní data na vysoce hodnotný výstup.

S ohledem na to se nyní podívejme na některé oblasti, v nichž by se takové algoritmy mohly jednoho dne uplatnit v průzkumném výzkumu.

Nábor členů panelu

Nábor do online panelu by měl být vnímán jako první fáze procesu výběru vzorku pro váš projekt. Pokud při náboru do panelu nebudete dodržovat nejvyšší standardy, získáte zkreslený zdroj pro výběr vzorků pro váš projekt. Není třeba dále vysvětlovat, že ze zkresleného panelu nelze získat nezaujatý vzorek. Právě proto jsme při náboru do panelu tak pečliví. Jak by nám ale mohly algoritmy pomoci zlepšit kvalitu náboru?

1. Udržování panelu v dobré kondici vyžaduje velmi komplexní rozhodnutí, která mohou zahrnovat kompromisy mezi různými parametry. Musíme například sledovat složení panelu a nahrazovat odhlášené účastníky. Zároveň musíme odhadovat potřebnou velikost panelu, abychom byli schopni vyhovět všem požadavkům v blízké budoucnosti. Jsme přitom omezeni dostupným rozpočtem a reálným objemem náboru v daném časovém rámci. Jak tedy máme alokovat naše zdroje? Algoritmy nám mohou pomoci při rozhodování tím, že poukážou na nejdůležitější demografické skupiny a náborové kanály, na které se právě teď máme zaměřit, a pomohou nám s menším úsilím vybudovat vyvážený panel.
2. Jakmile se lidé zaregistrují do panelu, je třeba ověřit jejich totožnost, a to jednoduše proto, že se musíme ujistit, že tito lidé jsou skutečně těmi, za které se vydávají. Pokud je náborujeme telefonicky, můžeme si být poměrně jisti, že skutečně hovoříme se skutečnou osobou. I když to nemusí být tak snadné, jak se to po telefonu zdá, ověření totožnosti online uživatelů rozhodně není něco, co lze vyřešit již při prvním kontaktu. Místo toho je třeba to vnímat jako proces, v jehož rámci si postupně budujete důvěru v totožnost člena poté, co jste se hned na začátku ujistili, že jsou splněny některé základní požadavky. Algoritmy nám mohou pomoci tento proces urychlit tím, že do mnohem komplexnější analýzy zahrnou více datových bodů. Takové algoritmy mohou také odhalit, zda dvě různé osoby sdílejí stejnou e-mailovou adresu, počítač nebo panelový účet.
3. Ověřování uživatelů jde ruku v ruce s kontrolou duplicit. Na velmi povrchní úrovni se to provádí porovnáním osobních identifikačních údajů různých členů, jako jsou jména, e-mailové adresy nebo IP adresy. Vždy se však vyplatí podrobněji prozkoumat podobné profily, podobné vzorce reakcí a možné souvislosti mezi podezřelými profily či zařízeními. Opět platí, že jelikož hledání jehly v kupce sena může být velmi časově náročné a složité, automatizace může zvýšit frekvenci a sofistikovanost těchto kontrol kvality.

V poslední době se objevují zprávy o profesionálních „průzkumných farmách“, kde jsou falešní členové přihlašováni do panelů za účelem získávání odměn ve velkém měřítku. Tento jev odpovídá našim zkušenostem, že online panely se opakovaně stávají terčem podvodníků. Nechceme prozrazovat žádné podrobnosti, ale disponujeme automatizovanými algoritmickými postupy, které zabraňují podvodným registracím do našeho panelu, označují anomálie v chování našich uživatelů a hlásí podezřelé pokusy o získání odměn.

Profilování panelů

Mnozí z členů našeho panelu se k nám připojili před více než deseti lety a jejich životy se za ta léta samozřejmě změnily. Všichni samozřejmě zestárli. Někteří se oženili, jiní se rozvedli. Někteří mají děti, zatímco děti jiných už možná opustily rodinu. Někteří byli povýšeni, jiní odešli do důchodu. Někteří se přestěhovali do nového domu, v některých případech dokonce do jiného města. Možná si pořídili nová auta a nové domácí spotřebiče. Možná změnili banku, pojišťovnu nebo operátora. Ať už se v životech našich respondentů stalo cokoli, díky aktualizovaným profilovým informacím můžeme sestavovat přesnější vzorky.

Členy našeho panelu již vyzýváme, aby pravidelně aktualizovali všechny proměnné ve svém profilu; v tomto případě tedy není třeba používat sofistikovanější algoritmus. Vzhledem k tomu, že většina našich panelistů má více než 500 datových bodů, mohou však některé informace stále být nepřesné a v zásadě musíme hledat odlehlé hodnoty. Zatímco jednorozměrná metoda je poměrně jednoduchá („ukáž mi všechny členy, jejichž věk je vyšší než 120 let“), vícerozměrné přístupy jsou ze statistického hlediska mnohem složitější („ukáž mi všechny členy, u nichž je kombinace různých proměnných neobvyklá“). Například pokud máte 16letou osobu s ročním příjmem 50 000 eur, věk i příjem se pravděpodobně pohybují v rozmezí normálních hodnot. Tato kombinace však bude na bodovém grafu viditelnou odlehlou hodnotou. Algoritmy mohou pomoci tyto odlehlé hodnoty identifikovat a označit.

Algoritmy mohou také pomoci odhadnout pravděpodobnost určitých chybějících hodnot. Pokud bychom například chtěli pro účely studie cíleně oslovit členy panelu s vysokým příjmem, ale narazili bychom na velký počet respondentů, kteří na tuto profilovou otázku neodpověděli, museli bychom jejich příjem odhadnout na základě jiných otázek. Můžeme například oslovit ty, kteří vlastní dům, mají v domácnosti více než jedno auto nebo velmi často cestují. Analogicky bychom mohli vypočítat pravděpodobnost jakékoli jiné chybějící proměnné na základě známých korelací s tím, co máme k dispozici. To by nám umožnilo sestavit vzorky s větší přesností.

Ale pozor! Právě na tento případ jsme mysleli, když jsme v úvodu formulovali naše upozornění. Musíme zajistit, aby algoritmus neovlivnil celkovou kvalitu našeho vzorku. Pokud například místo lidí s vysokým příjmem oslovíme časté cestovatele, můžeme zjistit, že náš vzorek je zkreslený: překvapivě většina našich respondentů s vysokým příjmem bude cestovat často. Proto bychom se museli ujistit, že kvalita našeho prediktivního modelu je dostatečně vysoká, aby zlepšila celkovou kvalitu našeho výzkumu.

Údržba panelů

Jsme přesvědčeni, že mezi motivací členů našeho panelu a kvalitou jejich odpovědí existuje silná souvislost. V následujících příkladech nám algoritmy pomáhají v našem úsilí poskytnout členům panelu lepší zážitek z členství a tím přispět ke kvalitě dat.

Účelem účasti v panelu je vyplňování průzkumů. Vše, co zvyšuje atraktivitu účasti v průzkumech, nějakým způsobem přispívá i k pozitivnímu zážitku z členství. Důležitým faktorem pro zvýšení míry odezvy je správné načasování zasílání pozvánek. V pondělí ráno, kdy je vaše e-mailová schránka přeplněná, byste pozvánku k průzkumu pravděpodobně raději ignorovali, abyste se mohli věnovat naléhavějším záležitostem. Naproti tomu hned po obědě můžete mít ještě náladu na odpočinek, takže takové rozptýlení může být velmi vítané. Obecně řečeno, algoritmy by nám mohly pomoci určit vhodnou denní dobu pro každého účastníka panelu a odložit zasílání oznámení na okamžiky, kdy jim pravděpodobně budou věnovat větší pozornost.

Tato technika může jít daleko za pouhé využití denní doby a zahrnovat i další data, jako jsou vzorce chování z panelové aplikace (např. geolokace, gyroskop). Pokud například členové panelu doma náhodně otáčejí telefony v ruce, může u nich dojít k výpadku a v daném okamžiku budou s větší pravděpodobností reagovat na push notifikace.

Odběr vzorků

S tímto úzce souvisí automatizace výběru vzorků. Pro účastníky panelu není nic frustrujícího než pozvánka k průzkumu, který již byl uzavřen – ať už částečně z důvodu naplnění konkrétní kvóty, nebo zcela. Z tohoto důvodu se v průběhu sběru dat obvykle rozesílají stále menší vzorky, aby se přiblížil požadovaný počet vyplněných dotazníků, aniž by došlo k překročení kvót. Z pochopitelných důvodů je to poměrně náročné na práci a může se to stát i poměrně složitým, čím více kvót máte. Automatizovaný výběr vzorku může pomoci minimalizovat ztrátu vzorku tím, že rozesílá pozvánky k průzkumu v menších a častějších dávkách, než by dokázal jakýkoli lidský výběrový pracovník. Tuto techniku již používáme u definic vzorků, které nejsou příliš složité. Kromě toho lze v budoucnu využít statisticky odhadované profilové informace, pokud se takové algoritmy nestanou novým zdrojem chyb (viz výše).

Další technikou, jak zmírnit negativní zážitek z vyřazení při předběžném výběru a nesplnění kvóty, je přesměrování. Existují dva základní způsoby, jak toho dosáhnout. Trochu „hloupý“ způsob, který jsme pravděpodobně všichni už někde v minulosti viděli, spočívá v tom, že respondenti procházejí nekonečným řetězcem předběžných dotazníků, dokud nesplní kvalifikační kritéria. Po dosažení závěrečné stránky průzkumu se respondentovi okamžitě naskytne možnost kvalifikovat se v dalším dotazníku. K tomuto přístupu jsme poměrně skeptičtí, protože může ohrozit motivaci respondentů a podněcovat spěch a jiné povrchní chování při vyplňování dotazníku.

Existuje však chytřejší způsob, jak k směrování přistupovat. Členy panelu pozvete tradičním způsobem a sdělíte jim, že je pro ně k dispozici nový průzkum. Jakmile kliknou na odkaz v pozvánce, budou přesměrováni na otevřený průzkum, který nejlépe odpovídá jejich profilu. I když je průzkum, ke kterému byli původně přiřazeni, již uzavřen, budou moci se zúčastnit jiného průzkumu. Díky této metodě směrování je riziko snížení kvality vzorku výrazně nižší, protože bude přesměrován pouze malý přebytek (z automatizovaného výběru). Kromě toho se respondenti nebudou potýkat s nekonečnou řadou screeningových dotazníků, ale budou skutečně odpovídat pouze na jeden průzkum najednou. V každém případě je nutné mít k dispozici inteligentní algoritmus, který sleduje všechny profily členů, kteří dosud neodpověděli, dále všechny definice cílových skupin dostupných studií a nakonec provede dokonalé přiřazení. Tímto způsobem zvýšíte motivaci členů panelu k účasti.

Během pohovoru

Každá studie je jedinečná. Proto je opravdu obtížné definovat obecná kritéria kontroly kvality, která by vyhovovala všem případům. Algoritmy však mohou pomoci porovnat kvalitu odpovědí v daném rozhovoru s předchozími rozhovory. Prochází respondent dotazníkem výrazně rychleji než ostatní? Jsou odpovědi v textových polích kratší, nebo obsahují nesmysly? A jaká je variabilita u otázek s výběrem z nabídky? Všechny tyto ukazatele mohou poskytnout ucelenější obraz a při překročení určité prahové hodnoty vyvolat různé akce. Můžete nechat algoritmus označit rozhovor k ruční kontrole, zobrazit respondentovi varování, vložit matoucí otázku k vyřazení nepozorných respondentů nebo celý rozhovor okamžitě odstranit z databáze.

Další technikou je záměrná příprava respondentů s cílem podvědomě zvýšit kvalitu jejich odpovědí. V tomto případě se před relevantními otázkami zobrazí mezistránka s krátkým a snadno stravitelným obsahem, která má respondenta naladit na nadcházející úkol. Jelikož tato technika není stejně účinná u všech respondentů a může prodloužit délku rozhovoru, mohou algoritmy pomoci prezentovat správné podněty pouze těm správným lidem v přesně ten správný okamžik. I v tomto případě je třeba tyto techniky používat opatrně s ohledem na celkovou kvalitu, protože mohou také způsobit určité škody.

Dosud jsme hovořili pouze o online průzkumu, který nevyžaduje další vysvětlení. Digitalizaci však podléhají i jiné metody sběru dat, které mohou z algoritmů těžit. Vezměme si například telefonické rozhovory. Algoritmy by mohly analyzovat hlas respondenta a během rozhovoru provádět analýzu sentimentu. Tyto informace mohou být užitečné nejen pro kontextualizaci údajů při následné analýze dat, ale také mohou poskytnout cennou zpětnou vazbu tazateli přímo během rozhovoru s respondentem. Jak již bylo řečeno, je však opravdu obtížné definovat měřítka, která by vyhovovala každému výzkumu.

Zpracování dat

Po shromáždění všech dat je obvykle třeba provést ještě několik kroků, než je bude možné analyzovat. Prvním krokem je očista dat, tj. odstranění případů, které nelze pro analýzu použít. Vzhledem k výše uvedeným krokům by to již nemělo zabrat příliš mnoho času ani úsilí. Dalším krokem je kódování všech nestrukturovaných dat, zejména otevřených odpovědí z textových polí. Algoritmy mohou rozpoznat, zda lze použít stávající kódovací schéma (např. seznam značek v určité kategorii), nebo se mohou naučit a aplikovat nové kódovací schéma. Různé jazyky mohou být automaticky rozpoznány a přeloženy. Nakonec mohou být všechna data vážena, aby se vyrovnaly menší nesrovnalosti ve složení dat nebo aby se data přizpůsobila různým základním jednotkám (např. zda je zpětná vazba reprezentativní pro všechny obyvatele nebo všechny domácnosti).

No a co?

Některé z technik popsaných v tomto článku se již používají, jiné teprve čekají na vývoj. A kromě těchto „snadno dosažitelných cílů“ existuje spousta dalších oblastí použití, kde by algoritmy mohly usnadnit způsob, jakým s daty pracujeme.

Ať už děláme cokoli, usilujeme o co nejlepší kvalitu a zdráháme se zavádět postupy, které by mohly ohrozit naše vysoké standardy. Pokud se chcete dozvědět více nebo máte nějaký dotaz, rádi vám odpovíme.