A kérdőíves kutatás remek módszer kivéve, amikor nem
Számos olyan kutatási eszköz létezik, amit a UX-ben, vagy a termékfejlesztésben használnak, de köztük sok olyan is akad, ami sokkal trükkösebb, mint első ránézésre tűnik. A kérdőívek egyértelműen ebbe a táborba tartoznak.
Néhány éve Kovács Zsuzsanna a Prezi user researchere remek cikkében már részletesen kifejette, hogy milyen hibákba lehet esni a kérdőívek készítésekor. Összességében eléggé megfontolásra int a módszertannal kapcsolatban és nagy gondosságra hívja fel a figyelmet a kérdések tervezésekor.
Mostani cikkemben ennél is tovább mennék, és egy még szkeptikusabb álláspontot fejtek ki a kérdőívezés kapcsán.
Úgy vélem a product managementben a kérdőíves kutatás veszélyes, mert gyakran döntéstámogatásra használják. Például nem sikerül megegyezni valamiben, és a kérdőívre bízzuk a vitás kérdés eldöntését.
Milyen feature-t fejlesszünk következő alkalommal? Nem tudjuk eldönteni, indítsunk egy kérdőívet. Hogyan kellene elneveznünk az alkalmazásunkat? Nem tudjuk, készítsünk egy kérdőívet.
A nagy számok nyújtotta (hamis) biztonság
Ösztönösen szeretjük a nagy számokat. Például szívesebben megveszünk egy olyan terméket, amire több ezer értékelés érkezett, mint amire csak néhány. Vállalati szinten ez még inkább befolyásolja a döntéshozást.
A menedzserek jobban hisznek egy olyan kérdőíves kutatás eredményeinek amire 10 ezer válasz érkezett, mint egy 5 fővel készített interjú eredményeinek. Hiszen a nagyobb minta megbízhatóbb ugyebár? Valójában Caroline Jarrett ebben a prezijében éppen arra mutatott rá, hogy egy ember megkérdezésével megbízhatóbb eredményre lehet jutni, mint 10 ezerrel, ha jó a kérdés.
A kérdőívezés kapcsán a minta tekintetében is van egy komolyabb anomália. Nevezetesen, hogy a kérdőíveket jellemzően a rajongók és a nagyon elégedettek töltik ki. Azaz a nagy többség nem, az indiffrensek jobbára nem mondanak véleményt ebben a formában.
Egyszerű, ezért veszélyes
Hús-vér embereket találni, megszervezni velük az interjút, lebonyolítani azokat, majd az eredményeket kiértékelni időigényes. Eléggé csábítónak tűnik, hogy helyette pillanatok alatt ezrekhez juttassunk el egy kérdőívet.
Pedig sokkal nehezebb jó kérdőív kérdéseket összerakni, mint lebonyolítani egy user kutatást. Egy interjúban csak leülsz a résztvevővel, bekapcsolod a screenrecordert, és hagyod, hogy beszéljen.
Ha viszont rossz kérdőív kérdéseket teszel fel, akkor rossz adatokat kapsz egy akkora mintán, amit nem lehet korrigálni. Garbage in garbage out.
Ráadásul nem is mindig tudod, ha a kérdés rossz. A user interjúban látod, ha a résztvevő hezitál, nem ért valamit, és tudsz korrigálni a kérdéseden. A kérdőívnél ez a lehetőség nem adott.
Miért nem preferáljuk a UX-ben a kérdőíves kutatásokat?
A UX-esek talán akkor ugranak leginkább a kérdőívezésre, ha használhatósággal kapcsolatos feedbackeket gyűjtenek velük.
A probléma gyökere, hogy a kérdőívezés piackutatási, kvantitatív módszertan. Bár akad, aki szerint határeset és a kvalitatív és a kvantitatív kutatások között áll, de ha ez így van, akkor mindkettőből a legrosszabbat reprezentálja.
Komolyra fordítva a szót a kérdőívezés kvantitatív módszertan, míg a legtöbb UX kutatás kvalitatív. Ez azt jelenti, hogy jobbára nem megfelelő választás usability vagy user kutatási célokra.
A másik probléma, hogy nem mondd el semmit a kontextusról. Ez egy elég nagy hiányosság, hiszen a felhasználói élmény jelentős részben a kontextus megértéséről szól.
De talán a legnagyobb baj, ha a kérdőíveket a felhasználói viselkedés megfigyelésének helyettesítésére használják. A viselkedést viszont csak megfigyeléssel lehet megérteni. Az emberek mást mondanak, mint amit csinálnak, ugyanezen okból a fókusz csoportos kutatást sem használjuk usability hibák felderítésére.
Nem beszélve arról, hogy az empátia növelés lehetőségétől is elesnek, ha nem a tradicionális kvalitatív kutatások (például interjúk) helyettesítésére használják.
A kérdőívek jók egyáltalán valamire?
A cikkben nem a kérdőívezés mint módszertan, hanem inkább a rossz használat ellen kardoskodom. Vannak esetek, amikor természetesen remek választás jelentenek (ahogyan minden kutatási módszertannak megvan a maga helye).
A kérdőívek akkor jöhetnek képbe, amikor már extrém jól ismered a felhasználóidat, ha kimerítetted a face-to-face interjúk lehetőségeit, és csak számokra van szükséged.
Például a weboldaladon 5 feladatot lehet végrehajtani és számszerűsíteni akarod, hogy az egyes opciókat hányan választják.
Tehát a kérdőívek hasznosak azoknak, akik a felhasználói kutatásokat kimaxolták, és keresnek valami pluszt, ami kiegészítheti azokat. A kérdőívezés azonban nem tudja helyettesíteni a felhasználói élmény tervezésében használt klasszikus kvalitatív kutatási módszereket.
Boros Norbert
Innovation Designer | Experience Research Leader in Finance
Üzleti problémák megoldásában segítek designeri gondolkodásmóddal.