Hírek

Reinhart és Rogoff (2010) harvardi közgazdászok nagy hatású tanulmányukban kimutatták, hogy a gazdasági növekedés jelentősen csökken azokban az országokban, ahol az államadósság meghaladja a GDP 90 százalékát. Az említett kutatási eredményekre támaszkodva politikusok kampányoltak gazdasági megszorítások mellett az Egyesült Államokban és az Európai Unióban. Később, amikor a Massachusetts egyetem munkatársai (Herndon és szerzőtársai, 2014) megpróbálták megismételni Reinhart és Rogoff kutatásának elemzését, más eredményekre jutottak. Kiderült, az eredeti elemzés nem tartalmazta egy Excel hiba miatt az összes adatpontot. A teljes adatállomány pedig sokkal kevésbé mutatott egyértelmű kapcsolatot az államadósság és a gazdasági növekedés között.

Reinhart és Rogoff példája jól mutatja, hogy nagy szaktudással rendelkező kutatók is követhetnek el banális tévedéseket, amelyek következménye akár a társadalom egészére kihathat. Felmerül a kérdés, hogy hány ehhez hasonló hiba maradt észrevétlen a publikált szakirodalomban. Mennyire támaszkodhatunk tudományos eredményekre döntéshozóként? Illetve, mit tehetünk a tudományos eredmények megbízhatóságának növelése érdekében?

Amikor egy hibával találkozunk erős a késztetés, hogy a hiba okát az elkövető személyében keressük. Biztos nem értett eléggé a feladathoz, vagy esetleg egy gondatlan személyről van szó, aki nem fordít elegendő figyelmet a munkájára. A megoldás ezután kezenfekvőnek tűnik: felelősségre kell vonni az elkövetőt a hibájáért és el kell bocsájtani a munkahelyéről. Azonban, ha célunk a hibák előfordulási gyakoriságának hatékony csökkentése, akkor ez a megközelítés csak korlátozott eredményekhez vezet, hiszen nem a hiba mögötti tényleges okot érinti (Strand, 2023).

A hibák rendszerszintű megközelítése ennél egy célravezetőbb keretrendszert nyújthat. Ennek értelmében a hibák az emberi esendőség elkerülhetetlen velejárói, amelyekkel egy jól működő rendszernek számolnia kell. Tudjuk például, hogy az emberek nem pontosak monoton, de nagy figyelmet igénylő feladatok elvégzésében. Emellett a pszichológiai kutatások számos olyan kognitív torzítást azonosítottak, amelyek miatt összetettebb döntési helyzetekben is könnyen követhetünk el tévedéseket. Az emberi hibázás rendszerszintű megközelítése szerint a hiba nem az elkövető személyében, hanem a munkafolyamat felépítésében rejlik, amely nem veszi figyelembe az emberi tényezőket.

Magas kockázattal járó szervezetek, mint például a nukleáris erőművek, a repülés, vagy az egészségügy, ahol a hibák akár emberéletek elvesztéséhez is vezethetnek, a hibákat rendszer szinten közelítik meg. Ezen szervezetek szisztematikusan monitorozzák a munkafolyamataikat, azonosítva a potenciális hibalehetőségeket, és bátorítják az alkalmazottakat, hogy ugyanígy járjanak el. A hibákat nem elhallgatják, hanem tanulnak belőlük.

Habár Reinhart és Rogoff (2010) adatkezelési hibájából láthattuk, hogy a kutatói hibáknak is lehet súlyos következményük, a kutatók általában nem tekintik munkájukat magas kockázattal járó tevékenységnek. Márpedig a kutatók is emberek. Sőt, az akadémia világa, amiben dolgoznak, szintén emberek által létrehozott rendszer, amely néha figyelmen kívül hagyja ezt a tényt. Például, a tudományos ösztönzőrendszer azokat a kutatókat jutalmazza, akik elsőként állnak elő meglepő eredményekkel (Hardwicke és szerzőtársai, 2020). A publikációs verseny miatt kialakuló leterheltség kiváló táptalaja lehet a tévedéseknek, és ha a téves eredmény egy irányba mutat előzetes elvárásainkkal, kisebb a valószínűsége annak, hogy időnket hibák keresésével fogjuk tölteni.

A kutatói tevékenységek közül talán az adatkezelés a legkiszolgáltatottabb a hibázásnak, hiszen egy rendkívül összetett folyamat, amit gyakran átláthatatlanul nagy adathalmazokon végzünk. Ilyen hiba lehet például, ha valaki rossz változót elemez, helytelenül kerekít egy számot, vagy tévesen zár ki bizonyos adatokat az elemzésből. A mai adatközpontú tudományos gyakorlatban az adatkezelési hibák feltárása talán kritikusabb, mint valaha.

Eddig azonban kevés kutatás foglalkozott az adatkezelési hibák gyakoriságának és súlyosságának empirikus vizsgálatával. Burns és szerzőtársai (2023) egy számítógépes program segítségével az 50 legbefolyásosabb közgazdaságtani tudományos folyóirat 578,132 cikkéből nyerték ki a statisztikai tesztek eredményeit. Ezután automatizált módon újraszámolták az egyes statisztikai elemzésekhez tartozó p-értékeket. Az eredmények azt mutatják, hogy az eredeti szerzők az újraszámolt p-értékekhez képest, az elemzések 15 százalékában hibásan közölték a teszt statisztikai szignifikanciáját.

A pszichológia területén dolgozó kutatók körében munkatársaimmal kérdőíves módszert használva mértük fel az adatkezelési hibák gyakoriságát és súlyosságát (Kovacs és szerzőtársai, 2021). A megkérdezett 486 kutató arról számolt be, hogy a legsúlyosabb adatkezelési hibák 22 százaléka megváltoztatta következtetéseik irányát és/vagy károsították tudományos hírnevüket. Az önbevallásos beszámolók eredményei valószínűleg alulbecsülik a hibák valós súlyát, mivel a jelenlegi kutatói kultúrában a hibázás még mindig negatív színben tűnik fel.

Az előforduló adatkezelési hibák vizsgálata lehetőséget nyújt olyan megoldások kifejlesztésére és bevezetésére, amelyek valóban hatékony módon segítik ezen hibák elkerülését. Azonban a legnagyobb kihívást talán a kutatók adatkezelési szokásainak átalakítása jelenti. A legtöbb kutató még ma is ad hoc adatkezelési megoldásokat használ munkája során, tehát nem tervezi meg előre az adatkezelés menetét. Manuálisan végez el összetett feladatokat, például az adatok struktúrájának átalakítását, változók transzformálását. Ezen felül a legritkább esetekben validálja kolléga vagy programkód segítségével az eredményeket.

Azonban ezen rossz gyakorlatok okai sem a kutató lustaságában vagy nemtörődömségében keresendők. Az egyetemi képzés során a statisztika oktatásban viszonylag kis hangsúly kerül az adatkezelésre. Ezen felül a doktori diploma megszerzése után a kutatóknak ritkán jut ideje az adatkezeléssel kapcsolatos készségeik fejlesztésére az oktatási és egyéb adminisztrációs elfoglaltságaik mellett. A hibák előfordulási gyakoriságát csökkentő megoldások bevezetésénél szintén nem elégendő a kutatóra összpontosítani. Olyan rendszerszintű beavatkozások szükségesek, amik figyelembe veszik a kutatók mellett a tudományos intézmények és a kutatást támogató szervezetek igényeit egyaránt.

Összességében elmondható, hogy a tudományos eredmények megbízhatóságának érdekében a kutatói tevékenységek rendszerszintű vizsgálata szükséges. Szerencsére az elmúlt évtizedben egyre több kutató kezdett el empirikus tudományos módszereket alkalmazni a tudományos folyamat megértésére és fejlesztésére (Hardwicke és szerzőtársai, 2020). Ennek az úgynevezett metatudományos megközelítésnek eredményeként rengeteg olyan megbízhatóságot veszélyeztető probléma tematizálódott, ami eddig nem volt része a tudományos diskurzusnak. Ennek eredményeként lassan megváltozhat a kutatói kultúra és nagyobb hangsúlyt kaphat a kutatások minősége, mint a publikációk mennyisége.

A metakutatók munkája azonban még messze nem ér itt véget. Hihetetlen ütemben fejlődik a tudomány és a technológia, több adatot gyűjtünk, mint valaha. A kérdés, hogy ezen adatok alapján megbízható következtetéseket tudunk-e levonni a jövőben.

Kovács Márton

MNB Intézet

Kovács Márton a ELTE PPK pszichológia szakán szerezte mesterdiplomáját, ugyanitt jelenleg doktori tanulmányokat folytat. Az MNB Intézethez 2023-ban csatlakozott. Elsősorban kutatóként dolgozik a metatudomány területén, ahol a tudományos hatékonyságot és megbízhatóságot vizsgálja.

---

Hivatkozások:

Bruns, S., Herwartz, H., Ioannidis, J. P., Islam, C., & Raters, F. H. C. (2023, September 6). Statistical reporting errors in economics. https://doi.org/10.31222/osf.io/mbx62

Hardwicke, T. E., Serghiou, S., Janiaud, P., Danchev, V., Crüwell, S., Goodman, S. N., & Ioannidis, J. P. (2020). Calibrating the scientific ecosystem through meta-research. Annual Review of Statistics and Its Application, 7, 11-37.

Herndon, T., Ash, M., & Pollin, R. (2014). Does high public debt consistently stifle economic growth? A critique of Reinhart and Rogoff. Cambridge journal of economics, 38(2), 257-279.

Kovacs, M., Hoekstra, R., & Aczel, B. (2021). The role of human fallibility in psychological research: a survey of mistakes in data management. Advances in methods and practices in psychological science, 4(4), 25152459211045930.

Reinhart, C. M., & Rogoff, K. S. (2010). Growth in a Time of Debt. American economic review, 100(2), 573-578.

Strand, J. F. (2023). Error tight: Exercises for lab groups to prevent research mistakes. Psychological Methods.

---

Főoldali kép forrása: pixabay.com

The post Az ember a tudós mögött appeared first on Economania blog.