A design kutatások teljes spektruma: kvalitatív, kvantitatív, mixed-methods
Az üzleti életben folyamatosan döntéseket kell hozni, amit érzések helyett az okos vezető az adatok alapján tesz meg. Az adatok és kutatások köre viszont elég széles skálán mozoghat, nincs egyetlen ultimate research válasz minden üzleti kérdésre, helyette kutatási módszerek mixelése adhat stabil támpontot.
A cikk audio verziója:
Mostanában gyakran felmerült a munkám, vagy az önfejlesztésem során a kvalitatív és kvantitatív kutatások helye, és általánosságban mibenléte. A téma igen összetett ezért táptalaja a félreértéseknek is.
Egyrészről előfordul, hogy az egyik kutatási megközelítést érteni vélő stakeholderek alábecsülik a másikat. Például azt mondják, hogy nekik van havi 500 ezer látogatójuk és a webanalitika révén mindent tudnak ahhoz, hogy folyamatosan tudják fejleszteni a szolgáltatásaikat, azaz nem akarnak interjúzni az emberekkel.
Aztán olyan jelenséget is észleltem, hogy a UX tanfolyamok meg szintén egy torzítást idéznek elő a jövő designerei fejében, amikor szinte csak kvalitatív kutatást villantanak fel a designer nebulóknak.
Miután mostanában szabadidőmben a Google – máskülönben igen színvonalas – data analyst kurzusát pörgetem, ami alapvetően közelebb áll kvantitatív adatelemzéshez és a data sciencehez, mégis kellő hangsúllyal tárgyalja a kvalitatív kutikat, gondoltam a blogomon sem ártana egy újabb alapkérdést tisztába tenni.
Kvalitatív és kvantitatív kutatás: barátok, nem ellenségek
Ahogyan említettem, a kvalitatív és kvantitatív kutatásokról hajlamosak egyesek úgy beszélni, mintha ellentétesek, egymás ellenségei lennének. Valójában a kvalitatív és kvantitatív szemlélet egymás barátai, és a kutatási projekted akkor lesz a legjobb, ha mindkettőt kombinálod, ugyanis képesek egymás fogyatékosságait kiegyenlíteni.
A kvalitatív és a kvantitatív kutatások a valóság strukturált megismerésének módjai, empirikus adatok gyűjtése és értelmezése mindkét módszer célja. Ennélfogva valójában nem egymás ellentettjei, hanem egy kontinuumon helyezkednek el, ahol bár viszonylag távol ülnek egymástól, középen mégis van egy metszetük, az un mixed-methods kutatások.
Mégis mi a reláció két megközelítés között? Kezdetben minden megismerés kvalitatív jellegű, legyen szó valakinek az intelligenciájáról tett megfigyelésekről, vagy éppen arról, hogy milyen színű a barátunk haja. Ezek nem numerikus, vagyis kvantitatív adatok önmagukban, viszont a kvantifikálás vagy a számszerűsítés képes egy megfigyelést explicitté tenni. Például amikor IQ hányadosról van szó, megpróbáljuk kvantifikálni az intelligenciára tett megfigyeléseket. Ilyenformán a kezdetben kvalitatív jellegű megfigyelésre a kvantifikálás révén megteremtődik a statisztikai elemzés lehetősége.
Nagyban kutatói/elemzői preferencia kérdése, hogy egy kutató melyikben érzi magát otthonosabban. A UX kutatásokban például klasszikusan kvalitatív módszerek pörögnek – mint interjú, usability teszt, terepkutatás -, a kvantitatív kutatások pedig inkább webanalitikában, esetleg egyéb digitális adatok elemzésében öltenek testet.
És vannak mellesleg olyan módszerek is, amiket a design szakma nem annyira szeret például kockázatos volta miatt, mint a kérdőívezés, és van amit okkal soha nem használ, mint a fókuszcsoportos kutatás, vagy NPS, melyek kutatásmódszertani hibái miatt nem adnak értékelhető adatot.
Viszont általánosságban elmondható, hogy jobb kutató lehet az, aki mindkét megközelítést hatékonyan tudja alkalmazni, mert egy kutatási kérdés alapos megválaszolásához általában kvalitatív és kvantitatív kutatásra egyaránt szükség lehet.
A kutatás érettség csúcsát képező strategics rsearchben is mindkét módszertan megjelenik.
Kvalitatív kutatás, kvantitatív kutatás, mixed-methods
Az átfogó meglapozás után érdemes bezoomolnunk a két megközelítésbe, illetve a metszetüket adó harmadikba is.
Kvalitatív kutatás
A kvalitatív kutatás értelemszerűen kvalitatív adatokkal dolgozik, ami a megfigyelés valamilyen minőségi attribútumát ragadja meg, nem számszerűsített módon. Az ilyen adat narratív formájú, például egy interjúszöveg, ahol a résztvevő a legutóbbi napját meséli el.
A kvalitatív kutatás kiváló a miértek megválaszolására.
A szubjektivitás a kvalitatív kutatásban elfogadott, persze fontos ennek a kezelése, például olyan módon, hogy több kutató dolgozik az eredmények kiértékelésén.
A kvalitatív kutatás kérdései a benyomásokra, magyarázatokra és érzésekre irányulnak, nyílt végű kérdések és általában azzal kezdődnek, hogy miért, hogyan vagy mit. Például:
- Miért nem használják a felhasználók az új funkciót?
- Hogyan sütnek süteményeket a kezdő szakácsok?
- Miért nem tér be a banfiókba az ügyfél?
A design területeken – business, service, product design – jellemzően a következő kvalitatív kutatások pörögnek:
- Interjú
- Usability teszt
- Naplózás
- Terepkutatás
A nagy minta a kvalitatív kutatásokban az adatok narratív jellege miatt nem elvárás, ami viszont fontos, hogy a kutatás résztvevői, például az interjúalanyok kellően kiegyensúlyozott képet tudjanak adni a vizsgált helyzetről.
A kvalitatív megközelítés egyik előnye a hátránya is egyben: miután itt szavakban keletkezik az adat a számokkal ellentétben jelentésgazdag lesz az információ, viszont a jelentésgazdagság többértelműséget is eredményezhet, az adatokat többféleképpen lehet interpretálni.
Kvantitatív kutatás
A kvantitatív kutatás a számszerű tények konkrét és objektív méréséről és elemzéséről szól. Ez a fajta kutatás kiváló számszerűsíthető jelenségek, hard numberek gyűjtésére.
A kvantitatív kérdések ennek megfelelően számokkal megválaszolhatók. Például:
- Hány felhasználó használta már az új funkciót?
- Mióta sül a süti a sütőben?
- Az előző héten hány ügyfél fordult meg a bankfiókban?
A kvantitatív kutatási stratégiát akkor célszerű használni, ha az adott kutatási terület már valamilyen mértékben fel van tárva és széleskörű általánosításra törekszünk.
A design területeken az alábbi kvalitatív kutatások pörögnek:
- Webanalitikai elemzések (analitika alapú viselkedés elemzés, heat mapek etc)
- A/B tesztelés
- Statisztikai modellezés
A kvalitatív kutatás legnagyobb hátránya, hogy könnyen félrevezető lehet. Sokan feltételezik, hogy mivel a kvantitatív kutatás statisztikákon alapul, hitelesebb vagy tudományosabb, mint a kvalitatív kutatás. Azonban a kvantitatív kutatás is lehet szubjektív és félrevezető. Egy kutató véleménye és elfogultsága ugyanolyan valószínűséggel lesz hatással az információgyűjtésre az ilyen kutatásokban is.
A kvantitatív kutatásban a fókusz a számokon és a statisztikai kapcsolatokon van, ami azt eredményezheti, hogy a kutatók a holisztikusabb témákat és kapcsolatokat figyelmen kívül hagyhatnak. Ha kizárólag a számokra összpontosítunk, fennáll annak a kockázata, hogy kimarad a big-picture megértése.
Mixed-methods
Ahogyan látszik mindkét megközelítésnek megvannak a vakfoltjai, ezért összetettebb problémák vizsgálatánál a hiányok kiegyenlítésére a legjobb módszer, ha kvalitatív és kvantitatív kutatást egyaránt alkalmazunk, ez a mixed-methods módszer. Logikus is, hogy minél sokrétűbb adatgyűjtést végzünk, annál árnyaltabb lesz a végeredmény.
A gyakorlatban mégis kevés olyan példát látunk, ahol integráltan alkalmaznák a kvalitatív és kvantitatív kutatási stratégiát.
A múltkori cikkem, a stratégiai kutatás során elhangzott olyan komment, hogy a mixed-methods megközelítésben semmi új nincs. Ez kétségtelenül így van, valóban évtizedekkel ezelőtti könyvekben is létezik a fogalom: de nem is állítottam egyébként a cikkben, hogy új jelenségről lenne szó. Azt viszont vitatom, hogy túlzottan jellemző lenne a gyakorlatban a kvali és kvanti mixelése, legalábbis az én nyilvánvalóan szubjektív tapasztalataim szerint a vállalatoknál ez ritka és kivételes jelenség.
A mixed-methods alkalmazásának hiánya mögött logikus okok húzódnak meg, a két megközelítés szervezetei/szakmai szinten el szokott különülni, továbbá a kétféle adatot nehéz is integrálni. A kutatók meg egyoldalú felkészültséggel rendelkeznek, vagy a kvalitatív, kvantitatív stratégia mellett elkötelezettek.
Így alkalmazta a Netflix a mixed-methods megközelítést
A Netflix számos dologról ismert, de különösképpen kiváló ajánló rendszeréről: ez lényegében meghatározza, hogy mit fogunk nézni legközelebb, a historikus adataink, értékelések és a Netlflix tesztjei alapján.
A Netflix történetének egy pontján rádöbbentek, hogy az ajánlórendszer további optimalizálásával elért siker járulékos csupán. Ezért felvettek egy etnográfust, aki elkezdte vizsgálni kvalitatív kutatással, hogy az emberek miként használják a Netflixet, és kutatási során olyasmit talált, amit az hard adatok nem adtak ki.
Ő fedezte fel, hogy az emberek szeretik darálni a sorozatokat, azaz binge-watcholnak. Ugyan néha rosszul érzik magukat tőle, mégis ezt teszik. Szóval miután validálták az ötletet kvantitatív módszerekkel, egy eléggé egyszerű lépéssel álltak elő. Ahelyett, hogy az éppen nézett sorozathoz hasonlót ajánlottak volna, ugyanannak a műsornak a más epizódjait és évadjait kezdték ajánlani, hiszen így segítik a binge watcholást.
A Netflix ezzel nem csak a saját üzletét alakította át, hanem azt is, ahogyan fogyasztjuk manapság a média tartalmakat.
Mikor melyik módszert használjuk: what-why framework
A kvalitatív és kvantitatív megközelítés között van még egy különbség azon túl, hogy milyen jellegű adatot generálnak. A kvalitatív jellegű kutatások a közvetlen megfigyelés alapján adnak adatokat a viselkedésről vagy attitűdökről, míg a kvantitatív vizsgálatok során a kérdéses viselkedésre vagy attitűdre vonatkozó adatokat közvetve, mérés vagy eszköz révén gyűjtjük.
Egy interjú, vagy usability teszt során a kutató közvetlenül figyeli meg az embert, hogy miként használja a szolgáltatást az igényei kielégítésére. Ez lehetővé teszi számára, hogy kérdéseket tegyen fel, vizsgálja a viselkedést, vagy akár módosítsa menet közben a kutatási protokollt, hogy jobban megfeleljen a kutatási céloknak. A kutatási adatok elemzése nem matematikai eszközökkel történik.
Ezzel szemben a kvantitatív módszerekre alapuló kutatások jellemzően matematikai elemzésekkel működnek, mivel az adatgyűjtő eszköz (például webanalytics) olyan nagy mennyiségű adatot rögzít, amelyeket numerikus alapon a legkönnyebb elemezni.
Ezen különbségeik jellegéből adódóan a kvalitatív módszerek alkalmasak arra, hogy válaszoljanak a miért jellegű kérdésekre, míg a kvantitatív módszerek a hány és mennyi jellegű kérdésre válaszolhatnak, így a módszert, vagy a módszerek mixét ennek tudatában érdemes megválasztani.
A fentiből következik még egy fontos dolog, amit érdemes megjegyezni: a kétfajta megközelítés kiegészíti egymást, de nem felcserélhetőek. Azaz ha számszerűsíthető választ akarsz egy kérdésre akkor azt csak kvantitatív módszerrel kaphatod meg, ha miérteket keresel, arra csak kvalitatív kutatást tud válaszolni.
És, hogy azzal zárjam a cikket, amivel kezdtem, a data analyst kurzusban hallottam egy érzékletes és egyszerű példát arra, ami segíthet a kvalitatív és kvantitatív kutatások helyét betájolni.
A különböző véleményeket a hétköznapi életben is használjuk, például ha vásárolunk egy könyvet, vagy bármilyen terméket. Ezekben a reviewban az emberek elmondják, hogy miért jó, vagy éppen nem jó az az értékelés tárgya. Ideális esetben a cégek is figyelik, vagy akár proaktívan gyűjtik a véleményeket a szolgáltatásaikról: ez egy jó terep a kvalitatív és kvantitatív kutatások együttes használatára.
Tegyük fel, hogy egy helyi fagyizó tulajdonosa azt látja, hogy a Googleben romlott az átlagos értékelése az üzletének. Azt is észleli, hogy egyre több negatív komment érkezik. Először kvantitatív úton vizsgálódik: hány negatív értékelés van, mi az átlagos raiting, a vélemények között hány használja ugyanazt a kulcsszót? Ezek a mennyiségi adatok segítenek validálni, hogy valami tényleg nem stimmel az ügyfelek nem elégedettek.
Miután a tulajdonos átnézte a véleményeket, patternt fedez fel, 17-szer szerepel a negatív vélemények között a frusztrált szó.
Vajon miért frusztráltak az emberek? E már kvalitatív kérdés, amit meg lehet válaszolni a megfelelő módszerrel. Meg is teszi, elkezdi meginterjúvolni az embereket. Kiderül, hogy a vásárlók azért csalódottak, mert a nap vége felé elfogynak a népszerű ízek.
Ennek ismeretében a fagylaltozó megváltoztathatja heti rendelését, hogy megbizonyosodjon arról, hogy elegendő mennyiségben legyenek a népszerű ízek. A kvalitatív kvantitatív módszerek együttes alkalmazásával sikerült egy üzleti problémát megoldani.
Referenciák
A design kutatások nagyban a társadalomtudományos kutatásokon alapszanak, igazából az ott meglévő rendkívül fejlett és kitapasztalt módszerek legjobbjait vettük át és alakítottuk a human-centered szemlélethez, azzal a kitétellel, hogy praktikusan a design kutatásokban a gyakorlati érték az egyik legfontosabb cél.
A további elmélyedéshez két klasszikus könyvet ajánlok, amit én is kvázi kézikönyvként használok a mai napig, és a cikkhez is felhasználtam belőlük gondolatokat:
– Earl Babbie: A társadalomtudományi kutatás gyakorlata
– Szokolszky Ágnes: A pszichológiai kutatás módszertana
A mixed-methods megértéséhez és kvalitatív/kvantatív kutatások helyzetéhez két webes forrást ajánlok különösen:
– What-why framework részletesen, ami az NN/g-től származik
– Így alkalmazzák a Spotifynál a mixed-methods megközelítést a gyakorlatban
A blogon kutatásokról sokat írtam az idők során, ezek közül az alábbiak kapcsolódnak a cikkhez leginkább:
– Amit a kutatás alapjairól minden designernek tudnia kell
– Létezhet agilis környezetben UX kutatás?
– 10 nem tipikus design kutatási módszer
– 4 pszichológiai alapelv, ami hatással lehet a UX kutatásodra
Boros Norbert
Innovation Designer | Experience Research Leader in Finance
Üzleti problémák megoldásában segítek designeri gondolkodásmóddal.
A design legjava
Átlagosan havonta egyszer, benne mindennel, ami izgalmas a service és business design, UX, és innováció világából.