Óvakodj: A kutató szerint a legtöbb tudományos vizsgálat hibás
A helyszíni ellenőrző szakértők megvitatják eredményeiket a bécsi Hofburgban zajló Nemzetközi Tudományos Tanulmányok 2009 konferenciáján. Wikimedia Commons
A technokrácia szembetűnő tévedése, hogy az adatok elméleteik igazolására szolgálnak. Ez akkor kúszott be, amikor a korai technokraták rájöttek, hogy „Társadalommérnöki tudományukat” nem lehet támogatni jogos adatokkal. A mai hírek úgy játszanak, mint a gyermekkori 'Simon Says' játék, de helyettesítik a 'Science Says' -vel. ⁃ TN szerkesztő
Néhány évvel ezelőtt két kutató a szakácskönyvbe vette az 50 leggyakrabban használt összetevőit, és a tudományos folyóiratokban publikált különféle tanulmányok alapján megvizsgálta, hogy hányuk kapcsolódik a rák kockázatához vagy haszonhoz.
Az eredmény? 50-ből negyven, beleértve a sót, a lisztet, a petrezselymet és a cukrot. - Minden, amit eszünk, rákkal társul? a kutatók egy 2013-as cikkben csodálkoztak eredményeik alapján.
Vizsgálataim egy ismert, ám továbbra is fennálló problémát érintettek a kutatási világban: túl kevés tanulmány rendelkezik elég nagy mintával az általános következtetések alátámasztására.
De a kutatókra gyakorolt nyomás, a folyóiratok közötti verseny és a média kielégíthetetlen étvágya a forradalmi áttöréseket jelentő új tanulmányok iránt azt jelentette, hogy az ilyen cikkeket továbbra is publikálják.
"A legtöbb folyóirat, még a komoly folyóiratokban is, meglehetősen hanyag" - mondta John Ioannidis, a Stanford Egyetem orvosprofesszora, aki a tudományos tanulmányok tanulmányozására specializálódott.
A rossz kutatások esküdt ellensége 2005-ben széles körben idézett cikket tett közzé: „Miért hamisak a legtöbb publikált kutatási eredmények?”
Azóta, mondja, csak korlátozott előrelépés történt.
Néhány folyóirat most ragaszkodik ahhoz, hogy a szerzők előzetesen regisztrálják kutatási protokolljukat és nyers adatokat nyújtsanak be, ami megnehezíti a kutatókat az eredmények manipulálásával egy bizonyos következtetés elérése érdekében. Ezenkívül másokat is ellenőrizhet vagy megismételhet tanulmányait.
Mert amikor a vizsgálatokat megismételik, ritkán érkeznek ugyanazok az eredmények. A három legfontosabb pszichológiai folyóiratban közzétett 100-tanulmányok csak egyharmada sikeresen megismételhető egy nagy 2015-tesztben.
Az orvostudomány, az epidemiológia, a népességtudomány és a táplálkozási tanulmányok nem javulnak - mondta Ioannidis, amikor megismételték őket.
"Az orvosbiológiai tudományban és azon túl a tudósok nem kapnak megfelelő képzést a statisztikákról és a módszertanról" - mondta Ioannidis.
Túl sok kutatás csak néhány személyen alapszik, ami megnehezíti a tágabb következtetések levonását, mivel a mintavételeknek kevés reményük van reprezentatív megjelenésre.
"A diéta az orvosbiológiai vizsgálatok egyik legszörnyűbb területe" - tette hozzá Ioannidis professzor - és nem csak a különféle élelmiszeriparral való összeférhetetlenség miatt.
"Az étrend mérése rendkívül nehéz" - hangsúlyozta. Hogyan tudjuk pontosan meghatározni, mit esznek az emberek?
Ezen a területen a kutatók gyakran vadul keresik a korrelációkat hatalmas adatbázisokban, anélkül, hogy kiindulási hipotézis lenne.
Még akkor is, ha a módszertan jó, mivel az aranystandard olyan tanulmány, amelyben a résztvevőket véletlenszerűen választják meg, a végrehajtás elégtelen lehet.
A legismertebb orvosi folyóiratokban, a New England Journal of Medicineben júniusban vissza kellett vonni a híres 2013-tanulmányt, amely a mediterrán étrend szívbetegségek előnyeiről szól, mivel nem minden résztvevő került véletlenszerű felvételre; az eredményeket lefelé módosították.
Szóval mit kellene elvonulnunk a minden nap közzétett tanulmányok árvízétől?
Ioannidis azt javasolja, hogy tegye fel a következő kérdéseket: ez valami, amit csak egyszer vagy több tanulmányban láttak? Kicsi vagy nagy tanulmány? Ez egy randomizált kísérlet? Ki finanszírozta? Átláthatóak-e a kutatók?
Ezek az óvintézkedések alapvető fontosságúak az orvostudományban, ahol a rossz tanulmányok hozzájárultak a legjobb esetben hatástalan, legrosszabb esetben pedig káros kezelések elfogadásához.
Vinayak Prasad és Adam Cifu „Az orvosi visszafordítás befejezése” című könyvükben rémisztő példákat kínálnak azokra a gyakorlatokra, amelyeket érvénytelenné vált tanulmányok alapján fogadtak el, például az agyi artéria stentekkel történő megnyitása az új stroke kockázatának csökkentése érdekében.
Csak 10 évek után mutatott egy robusztus, randomizált vizsgálat, amely valóban növeli a stroke kockázatát.
A megoldás a szabványok kollektív szigorításában rejlik, amelyet a kutatási világ minden szereplője nemcsak a folyóiratokban, hanem az egyetemeken és az állami finanszírozási ügynökségeken keresztül is végez. De ezek az intézmények mind versenyképes környezetben működnek.
wpDiscuz