Krize reprodukovatelnosti: Porozumění a řešení spolehlivosti výzkumu

V posledních letech se ve vědecké komunitě objevuje rostoucí znepokojení, často označované jako „krize reprodukovatelnosti“. Tato krize poukazuje na alarmující míru, s jakou se nedaří replikovat nebo reprodukovat výsledky výzkumu napříč různými disciplínami nezávislými výzkumníky. To vyvolává zásadní otázky o spolehlivosti a platnosti publikovaného výzkumu a má dalekosáhlé důsledky pro vědu, politiku a společnost.

Co je krize reprodukovatelnosti?

Krize reprodukovatelnosti není jen o ojedinělých případech neúspěšných experimentů. Představuje systémový problém, kdy významnou část publikovaných výsledků výzkumu nelze nezávisle ověřit. To se může projevit několika způsoby:

• Selhání replikace: Neschopnost získat stejné výsledky při opakování studie za použití stejných materiálů a metod jako v původní studii.
• Selhání reprodukovatelnosti: Neschopnost získat stejné výsledky při opětovné analýze původních dat za použití stejných analytických metod.
• Problémy se zobecnitelností: Když zjištění z konkrétní studie nelze aplikovat na jiné populace, kontexty nebo prostředí.

Je důležité rozlišovat mezi replikací a reprodukovatelností. Replikace zahrnuje provedení zcela nové studie k otestování původní hypotézy, zatímco reprodukovatelnost se zaměřuje na opětovnou analýzu původních dat k ověření výsledků. Obojí je klíčové pro stanovení robustnosti vědeckých zjištění.

Rozsah problému: Dotčené disciplíny

Krize reprodukovatelnosti se neomezuje na jediný obor; ovlivňuje široké spektrum disciplín, včetně:

• Psychologie: Tento obor stál v čele při uznání krize, přičemž studie prokázaly nízkou míru replikace klasických psychologických experimentů. Například projekt „Open Science Collaboration“ se pokusil replikovat 100 studií publikovaných v hlavních psychologických časopisech a zjistil, že pouze 36 % replikací přineslo statisticky významné výsledky ve stejném směru jako původní studie.
• Medicína a biomedicínský výzkum: Neschopnost replikovat zjištění v preklinickém výzkumu může mít vážné důsledky pro vývoj léků a klinické studie. Studie ukázaly, že významné procento preklinických zjištění v oblastech, jako je výzkum rakoviny, nelze replikovat, což vede k plýtvání zdroji a potenciálnímu poškození pacientů. Studie společnosti Bayer z roku 2011 uvedla, že se jí podařilo replikovat výsledky pouze 25 % publikovaných preklinických studií, které zkoumala. Podobné výzvě čelila i společnost Amgen, která úspěšně replikovala pouze 11 % „přelomových“ studií ve výzkumu rakoviny, které přezkoumala.
• Ekonomie: Obavy z manipulace s daty, selektivního vykazování a nedostatku transparentnosti se objevily i v ekonomii. Výzkumníci stále více prosazují předběžnou registraci studií a sdílení otevřených dat s cílem zlepšit důvěryhodnost ekonomického výzkumu.
• Inženýrství: Ačkoli se o nich mluví méně, inženýrské obory jsou také náchylné. Výsledky simulací a experimentální data nemusí být plně zdokumentovány nebo zpřístupněny, což brání nezávislému ověření tvrzení o návrhu.
• Společenské vědy: Stejně jako psychologie čelí i další společenské vědy, jako je sociologie a politologie, výzvám v replikaci komplexních sociálních jevů a výsledků průzkumů.

Příčiny krize reprodukovatelnosti

Krize reprodukovatelnosti je mnohostranný problém s několika přispívajícími faktory:

• Publikační zkreslení: Časopisy často upřednostňují publikování pozitivních nebo statisticky významných výsledků, což vede ke zkreslení v neprospěch negativních nebo neprůkazných zjištění. Tento „problém šuplíku“ znamená, že značné množství výzkumu, který nepodporuje hypotézu, zůstává nepublikováno, což zkresluje celkový obraz.
• Statistická významnost a P-hacking: Přílišné spoléhání na p-hodnoty jako jediné kritérium pro posuzování významnosti výsledků může vést k „p-hackingu“, kdy výzkumníci manipulují s daty nebo analytickými metodami, aby získali statisticky významné výsledky, i když jsou falešné. To zahrnuje techniky jako přidávání nebo odstraňování datových bodů, změnu statistického testu nebo selektivní vykazování pouze významných zjištění z více analýz.
• Nedostatek transparentnosti a sdílení dat: Mnoho výzkumníků nesdílí svá data, kód nebo podrobné metody, což ostatním znemožňuje ověřit jejich zjištění. Tento nedostatek transparentnosti brání nezávislým snahám o replikaci a reprodukovatelnost. K tomu mohou přispět i proprietární data nebo software, stejně jako obavy o důvěrnost.
• Nedostatečné školení v oblasti výzkumných metod a statistiky: Nedostatečné školení v oblasti rigorózního návrhu výzkumu, statistické analýzy a správy dat může vést k chybám a zkreslením ve výzkumu. Výzkumníci si nemusí být vědomi osvědčených postupů pro zajištění reprodukovatelnosti a mohou neúmyslně používat praktiky, které podkopávají spolehlivost jejich zjištění.
• Pobídky pro novost a dopad: Akademický systém odměňování často upřednostňuje nová a vlivná zjištění před rigorózním a reprodukovatelným výzkumem. To může motivovat výzkumníky k tomu, aby si zkracovali cestu, zapojovali se do pochybných výzkumných praktik nebo zveličovali význam svých výsledků, aby mohli publikovat v časopisech s vysokým dopadem.
• Složitost výzkumu: Některé oblasti výzkumu, zejména ty, které zahrnují komplexní systémy nebo velké datové soubory, jsou ze své podstaty obtížně reprodukovatelné. Faktory jako variace v experimentálních podmínkách, jemné rozdíly ve zpracování dat a inherentní stochastičnost komplexních systémů mohou ztížit dosažení konzistentních výsledků napříč různými studiemi.
• Podvody a pochybení: I když jsou méně časté, k krizi reprodukovatelnosti přispívají i případy přímých podvodů nebo falšování dat. Ačkoli jsou relativně vzácné, tyto případy podkopávají důvěru veřejnosti ve vědu a zdůrazňují význam robustní etiky výzkumu a dohledu.

Důsledky krize reprodukovatelnosti

Důsledky krize reprodukovatelnosti jsou dalekosáhlé a ovlivňují různé aspekty vědy a společnosti:

• Eroze důvěry veřejnosti ve vědu: Když se zjistí, že výsledky výzkumu jsou nespolehlivé, může to narušit důvěru veřejnosti ve vědu a vědce. To může mít negativní důsledky pro veřejnou podporu financování výzkumu, přijímání vědeckých důkazů a ochotu přijímat politiky založené na vědě.
• Plýtvání zdroji: Nereprodukovatelný výzkum představuje značné plýtvání zdroji, včetně času, peněz a úsilí. Když studie nelze replikovat, znamená to, že původní investice do výzkumu byla v podstatě promarněna a další výzkum založený na těchto nespolehlivých zjištěních může být také zavádějící.
• Zpomalení pokroku ve vědě: Krize reprodukovatelnosti může zpomalit tempo vědeckého pokroku tím, že odčerpává zdroje a pozornost od spolehlivého výzkumu. Když výzkumníci tráví čas a úsilí snahou o replikaci nespolehlivých zjištění, ubírá jim to schopnost provádět nový výzkum a dosahovat skutečných pokroků ve svém oboru.
• Poškození pacientů a společnosti: V oborech, jako je medicína a veřejné zdraví, může mít nereprodukovatelný výzkum přímé důsledky pro pacienty a společnost. Pokud je například lék nebo léčba založena na nespolehlivém výzkumu, může být neúčinná nebo dokonce škodlivá. Podobně, pokud jsou politiky veřejného zdraví založeny na chybných datech, mohou vést k nezamýšleným důsledkům.
• Poškození vědecké kariéry: Výzkumníci, kteří se podílejí na nereprodukovatelném výzkumu, mohou utrpět poškození své kariéry. To může zahrnovat potíže se získáváním financí, publikováním v časopisech s vysokým dopadem a zajištěním akademických pozic. Tlak na publikování a konkurenční povaha akademického výzkumu mohou motivovat výzkumníky k tomu, aby si zkracovali cestu a zapojovali se do pochybných výzkumných praktik, což může v konečném důsledku poškodit jejich kariéru.

Řešení krize reprodukovatelnosti: Řešení a strategie

Řešení krize reprodukovatelnosti vyžaduje mnohostranný přístup zahrnující změny ve výzkumných praktikách, pobídkách a institucionálních politikách:

• Podpora praktik otevřené vědy: Praktiky otevřené vědy, jako je sdílení dat, sdílení kódu a předběžná registrace studií, jsou zásadní pro zlepšení reprodukovatelnosti. Otevřená data umožňují ostatním výzkumníkům ověřit původní zjištění a provádět další analýzy. Předběžná registrace pomáhá předcházet p-hackingu a selektivnímu vykazování tím, že vyžaduje, aby výzkumníci předem specifikovali své hypotézy, metody a plány analýzy. Platformy jako Open Science Framework (OSF) poskytují zdroje a nástroje pro implementaci praktik otevřené vědy.
• Zlepšení statistického školení a metod: Poskytování lepšího školení výzkumníkům v oblasti statistických metod a návrhu výzkumu je klíčové pro prevenci chyb a zkreslení. To zahrnuje výuku výzkumníků o omezeních p-hodnot, významu velikosti účinku a potenciálu pro p-hacking. Zahrnuje také podporu používání robustnějších statistických metod, jako je Bayesovská statistika a metaanalýza.
• Změna struktury pobídek: Akademický systém odměňování je třeba reformovat tak, aby upřednostňoval rigorózní a reprodukovatelný výzkum před novostí a dopadem. To zahrnuje uznávání a odměňování výzkumníků za sdílení dat, replikační studie a příspěvky k otevřené vědě. Časopisy a financující agentury by také měly zvážit přikládání větší váhy metodologické přísnosti výzkumných návrhů a publikací.
• Posílení recenzního řízení: Recenzní řízení hraje klíčovou roli při zajišťování kvality a spolehlivosti výzkumu. Proces recenzního řízení je však často chybný a může být náchylný ke zkreslením. Pro zlepšení recenzního řízení by časopisy měly zvážit zavedení transparentnějších a přísnějších recenzních procesů, jako je požadavek, aby recenzenti posuzovali kvalitu dat, kódu a metod. Měly by také povzbuzovat recenzenty, aby se zaměřovali na metodologickou přísnost výzkumu, nikoli pouze na novost zjištění.
• Podpora replikačních studií: Replikační studie jsou nezbytné pro ověření spolehlivosti výsledků výzkumu. Replikační studie jsou však často podceňovány a nedostatečně financovány. Pro řešení tohoto problému by měly financující agentury přidělit více zdrojů na replikační studie a časopisy by měly být ochotnější je publikovat. Výzkumníci by také měli být povzbuzováni k provádění replikačních studií a ke zveřejňování svých zjištění.
• Zlepšení etiky a integrity výzkumu: Posílení etiky a integrity výzkumu je klíčové pro prevenci podvodů a pochybení. To zahrnuje poskytování školení výzkumníkům v etickém chování, podporu kultury transparentnosti a odpovědnosti a stanovení jasných postupů pro vyšetřování obvinění z pochybení. Instituce by také měly zavést politiky na ochranu oznamovatelů a zajistit, aby výzkumníci nebyli penalizováni za hlášení pochybení.
• Vývoj a přijímání pokynů pro vykazování: Standardizované pokyny pro vykazování, jako jsou směrnice CONSORT pro klinické studie a směrnice PRISMA pro systematické přehledy, mohou pomoci zlepšit transparentnost a úplnost výzkumných zpráv. Tyto pokyny poskytují kontrolní seznamy informací, které by měly být zahrnuty do výzkumných zpráv, což čtenářům usnadňuje posouzení kvality a spolehlivosti výzkumu. Časopisy by měly autory povzbuzovat, aby tyto pokyny dodržovali, a měly by poskytovat školení a zdroje, které jim v tom pomohou.

Příklady iniciativ a organizací řešících krizi

Několik iniciativ a organizací aktivně pracuje na řešení krize reprodukovatelnosti:

• The Open Science Framework (OSF): Bezplatná open-source platforma, která podporuje praktiky otevřené vědy poskytováním nástrojů pro sdílení dat, sdílení kódu, předběžnou registraci a spolupráci.
• The Center for Open Science (COS): Organizace věnující se podpoře praktik otevřené vědy a zlepšování reprodukovatelnosti výzkumu. COS provádí výzkum, vyvíjí nástroje a poskytuje školení, které pomáhají výzkumníkům přijmout praktiky otevřené vědy.
• Registrované zprávy (Registered Reports): Publikační formát, kde jsou studie recenzovány před sběrem dat, přičemž přijetí je založeno na návrhu a zdůvodnění studie, nikoli na výsledcích. To pomáhá snížit publikační zkreslení a p-hacking.
• Projekty Many Labs: Rozsáhlé kolaborativní projekty, které replikují studie napříč několika laboratořemi s cílem posoudit zobecnitelnost zjištění.
• The Reproducibility Project: Cancer Biology: Iniciativa k replikaci vybraných vysoce impaktovaných prací z oblasti biologie rakoviny s cílem posoudit reprodukovatelnost výzkumu rakoviny.
• AllTrials: Kampaň vyzývající k registraci všech klinických studií a hlášení jejich výsledků.

Globální pohledy na reprodukovatelnost

Krize reprodukovatelnosti je globální problém, ale výzvy a řešení se mohou lišit v různých zemích a regionech. Faktory jako financování výzkumu, akademická kultura a regulační rámce mohou ovlivnit reprodukovatelnost výzkumu. Například:

• Evropa: Evropská komise zahájila iniciativy na podporu otevřené vědy a zlepšení integrity výzkumu v celé Evropské unii. Tyto iniciativy zahrnují financování publikování s otevřeným přístupem, sdílení dat a školení v oblasti etiky výzkumu.
• Severní Amerika: Národní instituty zdraví (NIH) ve Spojených státech zavedly politiky na podporu přísnosti a reprodukovatelnosti v biomedicínském výzkumu. Tyto politiky zahrnují požadavky na sdílení dat, předběžnou registraci klinických studií a školení v oblasti statistických metod.
• Asie: Země jako Čína a Indie masivně investují do výzkumu a vývoje, ale také čelí výzvám v zajišťování kvality a spolehlivosti výzkumu. V Asii roste povědomí o krizi reprodukovatelnosti a probíhají snahy o podporu otevřené vědy a zlepšení etiky výzkumu.
• Afrika: Africké země čelí jedinečným výzvám při provádění a replikaci výzkumu kvůli omezeným zdrojům a infrastruktuře. Nicméně v Africe roste uznání významu otevřené vědy a sdílení dat a probíhají iniciativy na podporu těchto praktik.

Budoucnost spolehlivosti výzkumu

Řešení krize reprodukovatelnosti je neustálý proces, který vyžaduje trvalé úsilí a spolupráci výzkumníků, institucí, financujících agentur a časopisů. Podporou praktik otevřené vědy, zlepšováním statistického školení, změnou struktury pobídek, posilováním recenzního řízení a zlepšováním etiky výzkumu můžeme zlepšit spolehlivost a platnost výzkumu a vybudovat důvěryhodnější a vlivnější vědecký podnik.

Budoucnost výzkumu závisí na naší schopnosti řešit krizi reprodukovatelnosti a zajistit, aby vědecká zjištění byla robustní, spolehlivá a zobecnitelná. To bude vyžadovat kulturní posun ve způsobu, jakým provádíme a hodnotíme výzkum, ale přínosy takového posunu budou obrovské a povedou k rychlejšímu pokroku ve vědě, lepším výsledkům pro pacienty a společnost a větší důvěře veřejnosti ve vědecký podnik.

Praktické kroky pro výzkumníky

Zde jsou některé praktické kroky, které mohou výzkumníci podniknout ke zlepšení reprodukovatelnosti své práce:

• Předběžně registrujte své studie: Používejte platformy jako OSF k předběžné registraci svých hypotéz, metod a plánů analýzy před sběrem dat.
• Sdílejte svá data a kód: Kdykoli je to možné, zpřístupněte svá data, kód a materiály veřejnosti.
• Používejte rigorózní statistické metody: Konzultujte se statistikem a používejte vhodné statistické metody k analýze svých dat.
• Hlašte všechny výsledky: Vyhněte se selektivnímu hlášení a oznamujte všechna zjištění, včetně negativních nebo neprůkazných výsledků.
• Provádějte replikační studie: Pokuste se replikovat svá vlastní zjištění a povzbuzujte k tomu i ostatní.
• Dodržujte pokyny pro vykazování: Dodržujte pokyny pro vykazování, jako jsou CONSORT a PRISMA, abyste zajistili transparentnost a úplnost.
• Účastněte se workshopů a školení: Neustále zlepšujte své znalosti a dovednosti v oblasti výzkumných metod a statistiky.
• Prosazujte otevřenou vědu: Podporujte praktiky otevřené vědy ve své instituci a komunitě.

Podniknutím těchto kroků mohou výzkumníci přispět k spolehlivějšímu a důvěryhodnějšímu vědeckému podniku a pomoci řešit krizi reprodukovatelnosti.