AI už vytváří syntetické odpovědi pro průzkumy: Experti varují před zkreslením a ztrátou překvapení
InovaceSektor průzkumu trhu se potýká s výzvou: lidé stále méně zvedají telefony a online dotazníky jsou snadno ignorovány nebo manipulovány. Podle Pew Research Center osm z deseti lidí nezvedá neznámá čísla, což výrazně ovlivňuje schopnost tazatelů získat zpětnou vazbu.
Sektor průzkumu trhu se potýká s výzvou: lidé stále méně zvedají telefony a online dotazníky jsou snadno ignorovány nebo manipulovány. Podle Pew Research Center osm z deseti lidí nezvedá neznámá čísla, což výrazně ovlivňuje schopnost tazatelů získat zpětnou vazbu. V reakci na tento problém začínají firmy v oblasti průzkumů a spotřebitelského výzkumu využívat umělou inteligenci k vytváření syntetických odpovědí. Tyto plausibilní odpovědi od „falešných“ respondentů doplňují nebo nahrazují ty skutečné.
Například gigant v oblasti řízení zkušeností Qualtrics nyní nabízí syntetické panely, které na základě vstupního dotazníku generují odpovědi, jež jsou statisticky modelovány stejně jako reakce od tisíce skutečných lidí. Systém Qualtrics se opírá z 95 % a více o vlastní data firmy z dříve zadaných výzkumů a anonymizovaná klientská data, která jsou zbavena značek a nejsou starší než dva roky. Podobně i devadesátiletá agentura Gallup oznámila partnerství se společností Simile, která s pomocí AI vytváří „agenty“ z hloubkových rozhovorů s tisícovkou členů svého panelu. Gallup však zdůrazňuje, že simulované odpovědi nebudou použity k vytváření publikovaných odhadů populace a nikdy nebudou prezentovány jako lidské.
Odborníci však upozorňují na možná rizika. Jason Miklian, výzkumný profesor z Centra pro globální udržitelnost na norské univerzitě v Oslu, který se zabývá syntetickým výzkumem, uvádí, že zatímco syntetická data mohou poskytnout skvělý přehled o konvenčních názorech, jsou velmi špatná v generování čehokoli překvapivého. Právě překvapení jsou přitom cenná, neboť přinášejí nové poznatky pro vědu i obchodní rozhodnutí. Miklian vidí syntetická data jako užitečná pro předběžné testování průzkumů před investováním do sběru dat od skutečných lidí.
Sean Westwood, politolog z Dartmouth College, se obává, že firmy prodávající „křemíkové vzorkování“ jen zřídka zveřejní modely nebo metriky úspěšnosti, podle kterých by měly být hodnoceny. Podle něj „křemíkové vzorkování pere zaujatost jako data“, protože stereotypy obsažené v tréninkových datech se mohou při škálování rychle stát konsenzuálními názory. Příkladem je francouzská agentura Ifop, která pomocí své technologie DataBoost AI transformovala vzorek 116 skutečných rozhovorů s učiteli na skupinu 580 učitelů, což kritizovali francouzští statistici. Westwood dále argumentuje, že jelikož modely AI fungují nedeterministicky a při každém spuštění zavádějí náhodné chyby, výzkumníci nemohou používat tradiční statistické techniky k výpočtu nejistoty ve skutečném vzorku.
Miklian se obává „plíživého pronikání“ syntetických odpovědí do politických průzkumů, které byly dříve řízeny lidmi, a potenciální zpětnovazební smyčky, kdy syntetické průzkumy zesilují stávající předpoklady a následně se stávají argumentem pro zpochybňování skutečných volebních výsledků, které se s nimi neshodují. Qualtrics se snaží zajistit, aby k tomu v jejich oblastech výzkumu nedocházelo. Ali Henriques, výkonná ředitelka pro průzkum trhu ve společnosti Qualtrics, zdůrazňuje, že se snaží trh vzdělávat v tom, že syntetická data nejsou náhradou za lidské zkušenosti. Věří, že se jim nepodaří plně simulovat skutečné prožité zkušenosti.