Előző blogbejegyzésemben megvizsgáltuk, hogy a tudományos közösség hogyan néz szembe azzal a kihívással, hogy a kutatók – akárcsak bárki más – hibázhatnak. Az emberi tényező okozta tévedések lehetősége része a tudományos folyamatnak. Ebben a bejegyzésben egy lépéssel tovább haladunk, és azt vizsgáljuk meg, hogy hogyan működik a tudományos önkorrekció: hogyan biztosítja a tudomány, hogy a publikált, de téves eredmények ne maradjanak észrevétlenül, és hogyan javítja ki azokat.
Mi történik, ha egy tudományos munka publikálása után kiderül, hogy a következtetései tévesek? A publikációt követően egy kutatás eredményei bekerülnek a tudományos kánonba, alapot szolgáltatva újabb kutatásoknak és a valós életbeli döntéseknek az akadémia világán kívül is. Így a publikált téves eredmények dominóhatás-szerűen további károkat is okozhatnak. Mindezek fényében különösen mellbevágó, amikor a téves következtetések nem őszinte emberi hiba, hanem tudatos csalás eredményei.
Az akadémia világa rendkívül kompetitív, akárcsak az élsportban, itt is élnek néha egyes résztvevők tisztességtelen eszközökkel. A kutatási visszaélések sokfélék lehetnek: adathamisítás, adatgyártás, plagizálás, és az etikai elvek megsértése. Egyes becslések szerint a kutatók 2 százaléka vallotta már be, hogy követett el kutatói visszaéléseket (Fanelli, 2009), amelyek aláásták az eredmények és a tudományos szakma integritását. Ezek az esetek gyakran a publikált cikkek visszavonásával végződnek, amely egy hosszadalmas vizsgálatot követően történik, beleértve a folyóirat szerkesztőinek, külső szakértőknek és a cikk szerzői intézményének bevonását. A visszavonás a tudományos munkákra vonatkozóan a legkomolyabb negatív következmény, mely egyértelműen jelzi, hogy a cikk már nem tekinthető megbízható forrásnak. Hogyan is néz ki egy ilyen vizsgálat a valóságban?
Az utóbbi időben nagy visszhangot váltott ki Shu és munkatársainak (2012) tanulmánya, amelynek eredményeinek megbízhatóságát egy blogbejegyzésben több kutató erős empirikus érvekre támaszkodva vonta kétségbe (Simonsohn és munkatársai, 2021). A kérdéses cikk, ironikus módon, azt vizsgálta, hogy hogyan növelhető az emberek őszintesége egyszerű beavatkozások segítségével. A szerzők együttműködve egy biztosítótársasággal, arra kérték az ügyfeleket, hogy önbevallásos módon jelentsék, mennyit vezettek, ezzel segítve a biztosítási díjak kockázatalapú meghatározását. A kísérlet során két csoportot hoztak létre: az egyik csoportban az ügyfelek a kapott nyomtatvány tetején aláírásukkal kellett igazolják, hogy őszintén fognak válaszolni, míg a másik csoport tagjai csupán a megtett távolság közlése után írtak alá egy ilyen nyilatkozatot. A kutatás eredményei alapján azok, akik előbb elkötelezték maguk az őszinte válaszadás mellett, több megtett mérföldről számoltak be, mint a bevallás után aláírók.
A kutatás kimutatta, hogy egyszerű, költséghatékony módszerekkel ösztönözhetők az emberek az őszinte viselkedésre. A meglepő és azóta gyakran idézett eredmények jelentősen hozzájárultak a kutatás utolsó szerzőjének, Dan Ariely ismertségének növekedéséhez. Az eredmények ugyanis összhangban vannak Ariely számos könyvében ismételt központi üzenetével: az emberek döntéshozatala jóval kevésbé racionális, mint hinnénk.
A kutatás eredményei először akkor kérdőjeleződtek meg, amikor több független replikációs kísérlet sem tudta azonosítani az eredeti hatást. Ez azonban önmagában még nem indokolta volna a cikk visszavonását, mivel csalás vagy hibázás nélkül is előfordulhat, hogy egyes esetekben egy adott mintában kimutatható hatást csupán a következtetéses statisztika természetéből adódó fals-pozitív eredmény. Ennek rengeteg különböző oka lehet – ezek kifejtése talán egy újabb blogbejegyzés tárgyát képezhetik a jövőben.
A replikációk során azonban az eredeti kutatás nyers adatai is napvilágra kerültek. Az adatok eloszlása keltett gyanút az eredményeket megkérdőjelező kutatókban, különösen az, hogy a résztvevők által önbevallásos módon jelentett vezetett távolságok egyenletes eloszlást mutattak, a várt normális eloszlással szemben. Ezek szerint körülbelül ugyanannyi résztvevő vezetett 500 mérföldet, mint 1000, 10000, 50000 mérföldet. Ezzel szemben, valós adatoknál azt várnánk el, hogy a legtöbb ember az átlagos megtett út mértéke körül tömörül (a haranggörbe teteje), míg ettől eltávolodva az extrém értékek felé egyre kevesebb embert találunk. Ezen felül az is feltűnő, hogy a vezetett mérföldek száma 50 ezer mérföldnél hirtelen véget ér. Ezen felül a megosztott adatokat tartalmazó excel táblában egyes adatpontok a többitől különböző betűtípusban vannak beírva. Ezeknek a különböző betűtípussal beírt adatpontoknak viszont szinte kivétel nélkül van egy olyan nagyon hasonló párja, amit a másik fajta betűtípussal írtak. Ezek alapján a független szakértők arra következtettek, hogy az eredeti adatokat duplikálással és egyéb módokon módosíthatták a kívánt hatás elérésének érdekében.
Az eredeti kutatás szerzői a hibákat feltáró elemzésre nyílt levélben reagáltak és kifejezték egyetértésük az elemzés következtetéseivel kapcsolatban. Mint kiderült, a biztosító társasággal egyedül az utolsó szerző Dan Ariely tartotta a kapcsolatot, a többieknek az adatgyűjtéshez nem volt köze. Így Ariely egyeteme, a Duke University, belső vizsgálatot indított el, aminek végeredményeképpen megállapították, hogy az adatokkal való visszaélés történt, azonban az elkövető személyét nem tudták beazonosítani. Ariely maga, a több éven át húzódó vizsgálatok során először a biztosító társaság egyik alkalmazottjára gyanakodott, majd, miután a biztosító társaság előkereste az általuk elküldött és a kutatásban publikált adatokhoz nem hasonlító eredeti dokumentumokat, Ariely nyilvános megszólalásaiban azt sugallta, hogy egy kutató asszisztens állhat a visszaélések mögött (Bartlett, 2024). Arra azonban, hogy ki lehetett ez a rejtélyes asszisztens vagy mikor férhetett hozzá az adatokhoz és hogyan, már nem emlékezett a kutató.
A vizsgálat eredményeképpen a kutatás visszavonásra került, mivel a következtetések hamis adatokra épültek. Ez az eset világosan illusztrálja, hogy a tudományos közösség, noha rendelkezik az önszabályozás képességével, mely lehetővé teszi a téves következtetések felülvizsgálatát és korrekcióját, ezt a feladatot nem tudja maradéktalanul ellátni a transzparencia hiányában. Az átláthatóan és szabadon hozzáférhető adatok nélkül a csalásra nem derülhetett volna fény, és még így, az adatok ismeretében sem állapítható meg, hogy ki a felelős a tudományos visszaélésért. Több mint tíz év távlatából és az adatfelvétel részleteiről készült mindenféle publikus dokumentáció nélkül csupán az eredeti szerzők emlékeire vagy azok hiányára hagyatkozhatunk. Ezért kiemelten fontos, hogy a tudományos közösség elkötelezze magát az adatok nyílt megosztása mellett, amely nem csupán a tudományos eredmények hitelességének megőrzését segíti, hanem a kutatási folyamat integritását és a tudományos ismeretek megbízhatóságának növelését is szolgálja.
Kovács Márton
MNB Intézet
Kovács Márton a ELTE PPK pszichológia szakán szerezte mesterdiplomáját, ugyanitt jelenleg doktori tanulmányokat folytat. Az MNB Intézethez 2023-ban csatlakozott. Elsősorban kutatóként dolgozik a metatudomány területén, ahol a tudományos hatékonyságot és megbízhatóságot vizsgálja.
Hivatkozások:
Bartlett, T. (2024, January 18). Is dan ariely telling the truth? The Chronicle of Higher Education. Retrieved February 19, 2024, from https://www.chronicle.com/article/is-dan-ariely-telling-the-truth?emailConfirmed=true&supportSignUp=true&supportForgotPassword=true&email=marton.balazs.kovacs%40gmail.com&success=true&code=success&bc_nonce=df8b9ue3mtv9px7tphq106.
Fanelli, D. (2009). How many scientists fabricate and falsify research? A systematic review and meta-analysis of survey data. PloS one, 4(5), e5738.
Simonsohn, U., Nelson, L., & Simmons, J. (2021, August 17). [98] Evidence of Fraud in an Influential Field Experiment About Dishonesty. DataColada. https://datacolada.org/98
Shu, L. L., Mazar, N., Gino, F., Ariely, D., & Bazerman, M. H. (2012). Signing at the beginning makes ethics salient and decreases dishonest self-reports in comparison to signing at the end. Proceedings of the National Academy of Sciences, 109(38), 15197-15200.
Borítókép: pixabay.com
The post A tudományos önkorrekció ködös útja a megbízható tudás felé appeared first on Economania blog.