Криза відтворюваності: розуміння та вирішення проблеми надійності досліджень

Останніми роками в науковій спільноті зростає занепокоєння, яке часто називають "кризою відтворюваності". Ця криза висвітлює тривожну частоту, з якою результати досліджень у різних дисциплінах не вдається повторити або відтворити незалежним дослідникам. Це піднімає фундаментальні питання про надійність та валідність опублікованих досліджень і має далекосяжні наслідки для науки, політики та суспільства.

Що таке криза відтворюваності?

Криза відтворюваності — це не просто окремі випадки невдалих експериментів. Це системна проблема, за якої значна частина опублікованих результатів досліджень не може бути перевірена незалежно. Вона може проявлятися кількома способами:

Невдала реплікація: Неможливість отримати ті самі результати при повторенні дослідження з використанням тих самих матеріалів та методів, що й в оригінальному дослідженні.
Невдала відтворюваність: Неможливість отримати ті самі результати при повторному аналізі вихідних даних з використанням тих самих аналітичних методів.
Проблеми узагальнення: Коли результати конкретного дослідження неможливо застосувати до інших популяцій, контекстів чи умов.

Важливо розрізняти реплікацію та відтворюваність. Реплікація передбачає проведення абсолютно нового дослідження для перевірки початкової гіпотези, тоді як відтворюваність зосереджена на повторному аналізі вихідних даних для перевірки результатів. Обидва аспекти є вирішальними для встановлення стійкості наукових висновків.

Масштаб проблеми: зачеплені дисципліни

Криза відтворюваності не обмежується однією галуззю; вона стосується широкого спектра дисциплін, зокрема:

Психологія: Ця галузь була однією з перших, хто визнав кризу, а дослідження продемонстрували низькі показники реплікації класичних психологічних експериментів. Наприклад, проєкт "Open Science Collaboration" намагався повторити 100 досліджень, опублікованих у провідних психологічних журналах, і виявив, що лише 36% реплікацій дали статистично значущі результати в тому ж напрямку, що й оригінальне дослідження.
Медицина та біомедичні дослідження: Невдачі у відтворенні результатів доклінічних досліджень можуть мати серйозні наслідки для розробки ліків та клінічних випробувань. Дослідження показали, що значний відсоток доклінічних висновків у таких сферах, як дослідження раку, неможливо відтворити, що призводить до марної трати ресурсів і потенційної шкоди для пацієнтів. Дослідження Bayer у 2011 році показало, що вони змогли відтворити результати лише 25% опублікованих доклінічних досліджень, які вони вивчали. Amgen зіткнулася з подібною проблемою, успішно відтворивши лише 11% "визначних" досліджень у галузі раку, які вони переглянули.
Економіка: В економіці також висловлювалися занепокоєння щодо маніпуляції даними, вибіркового звітування та відсутності прозорості. Дослідники все частіше виступають за попередню реєстрацію досліджень та відкритий обмін даними для підвищення довіри до економічних досліджень.
Інженерія: Хоча про це говорять менше, інженерні галузі також є вразливими. Результати симуляцій та експериментальні дані можуть бути не повністю задокументовані або недоступні, що перешкоджає незалежній перевірці заявлених конструктивних рішень.
Соціальні науки: Подібно до психології, інші соціальні науки, такі як соціологія та політологія, стикаються з проблемами у відтворенні складних соціальних явищ та результатів опитувань.

Причини кризи відтворюваності

Криза відтворюваності є багатогранною проблемою з кількома чинниками, що її спричиняють:

Публікаційна упередженість: Журнали часто віддають перевагу публікації позитивних або статистично значущих результатів, що призводить до упередженості щодо негативних або непереконливих висновків. Ця "проблема шухляди" означає, що значна частина досліджень, які не підтверджують гіпотезу, залишається неопублікованою, що спотворює загальну картину.
Статистична значущість та P-хакінг: Надмірна залежність від p-значень як єдиного критерію для оцінки значущості результатів може призвести до "p-хакінгу", коли дослідники маніпулюють даними або методами аналізу для отримання статистично значущих результатів, навіть якщо вони є помилковими. Це включає такі методи, як додавання або видалення точок даних, зміна статистичного тесту або вибіркове звітування лише про значущі результати з кількох аналізів.
Відсутність прозорості та обміну даними: Багато дослідників не діляться своїми даними, кодом або детальними методами, що унеможливлює перевірку їхніх висновків іншими. Ця відсутність прозорості перешкоджає незалежним зусиллям з реплікації та відтворюваності. Пропрієтарні дані або програмне забезпечення, а також проблеми конфіденційності також можуть сприяти цьому.
Недостатня підготовка з методів дослідження та статистики: Недостатня підготовка з суворого дизайну досліджень, статистичного аналізу та управління даними може призвести до помилок та упередженості в дослідженнях. Дослідники можуть не знати про найкращі практики для забезпечення відтворюваності та можуть ненавмисно застосовувати практики, що підривають надійність їхніх висновків.
Стимули до новизни та впливовості: Академічна система винагород часто надає пріоритет новим та впливовим результатам над суворими та відтворюваними дослідженнями. Це може стимулювати дослідників "зрізати кути", вдаватися до сумнівних дослідницьких практик або перебільшувати значущість своїх результатів, щоб опублікуватися у високоімпактних журналах.
Складність досліджень: Деякі галузі досліджень, особливо ті, що пов'язані зі складними системами або великими наборами даних, за своєю суттю важко відтворити. Такі фактори, як варіації в експериментальних умовах, незначні відмінності в обробці даних та притаманна стохастичність складних систем, можуть ускладнювати отримання послідовних результатів у різних дослідженнях.
Шахрайство та неправомірна поведінка: Хоча й рідше, випадки відвертого шахрайства або фабрикації даних також сприяють кризі відтворюваності. Хоча такі випадки є відносно рідкісними, вони підривають довіру суспільства до науки та підкреслюють важливість надійної дослідницької етики та нагляду.

Наслідки кризи відтворюваності

Наслідки кризи відтворюваності є далекосяжними і впливають на різні аспекти науки та суспільства:

Ерозія довіри суспільства до науки: Коли результати досліджень виявляються ненадійними, це може підірвати довіру суспільства до науки та вчених. Це може мати негативні наслідки для громадської підтримки фінансування досліджень, прийняття наукових доказів та готовності приймати науково обґрунтовані рішення.
Марна трата ресурсів: Невідтворювані дослідження є значною тратою ресурсів, включаючи час, гроші та зусилля. Коли дослідження неможливо відтворити, це означає, що початкові інвестиції в дослідження були по суті змарновані, а подальші дослідження, засновані на цих ненадійних висновках, також можуть бути хибними.
Уповільнення наукового прогресу: Криза відтворюваності може сповільнити темпи наукового прогресу, відволікаючи ресурси та увагу від надійних досліджень. Коли дослідники витрачають час і зусилля, намагаючись відтворити ненадійні результати, це забирає у них можливість проводити нові дослідження та робити справжні досягнення у своїй галузі.
Шкода пацієнтам і суспільству: У таких галузях, як медицина та громадське здоров'я, невідтворювані дослідження можуть мати прямі наслідки для пацієнтів і суспільства. Наприклад, якщо ліки або лікування базуються на ненадійних дослідженнях, вони можуть бути неефективними або навіть шкідливими. Аналогічно, якщо політика громадського здоров'я базується на хибних даних, вона може призвести до непередбачених наслідків.
Шкода науковій кар'єрі: Дослідники, які причетні до невідтворюваних досліджень, можуть зазнати шкоди своїй кар'єрі. Це може включати труднощі з отриманням фінансування, публікацією у високоімпактних журналах та отриманням академічних посад. Тиск публікуватися та конкурентний характер академічних досліджень можуть стимулювати дослідників "зрізати кути" та вдаватися до сумнівних дослідницьких практик, що в кінцевому підсумку може зашкодити їхній кар'єрі.

Вирішення кризи відтворюваності: рішення та стратегії

Вирішення кризи відтворюваності вимагає багатогранного підходу, що включає зміни в дослідницьких практиках, стимулах та інституційних політиках:

Просування практик відкритої науки: Практики відкритої науки, такі як обмін даними, обмін кодом та попередня реєстрація досліджень, є важливими для покращення відтворюваності. Відкриті дані дозволяють іншим дослідникам перевіряти оригінальні висновки та проводити подальші аналізи. Попередня реєстрація допомагає запобігти p-хакінгу та вибірковому звітуванню, вимагаючи від дослідників заздалегідь вказувати свої гіпотези, методи та плани аналізу. Платформи, такі як Open Science Framework (OSF), надають ресурси та інструменти для впровадження практик відкритої науки.
Покращення статистичної підготовки та методів: Надання дослідникам кращої підготовки зі статистичних методів та дизайну досліджень є вирішальним для запобігання помилкам та упередженості. Це включає навчання дослідників обмеженням p-значень, важливості розмірів ефекту та потенціалу p-хакінгу. Це також передбачає просування використання більш надійних статистичних методів, таких як байєсівська статистика та мета-аналіз.
Зміна структури стимулів: Академічна система винагород потребує реформування, щоб пріоритет надавався суворим та відтворюваним дослідженням, а не новизні та впливовості. Це включає визнання та винагороду дослідників за обмін даними, реплікаційні дослідження та внесок у відкриту науку. Журнали та фінансові агентства також повинні надавати більшої ваги методологічній суворості дослідницьких пропозицій та публікацій.
Посилення рецензування: Рецензування відіграє вирішальну роль у забезпеченні якості та надійності досліджень. Однак процес рецензування часто є недосконалим і може бути схильним до упередженості. Щоб покращити рецензування, журнали повинні розглянути можливість впровадження більш прозорих та суворих процесів рецензування, таких як вимога до рецензентів оцінювати якість даних, коду та методів. Вони також повинні заохочувати рецензентів зосереджуватися на методологічній суворості дослідження, а не лише на новизні результатів.
Сприяння реплікаційним дослідженням: Реплікаційні дослідження є важливими для перевірки надійності результатів досліджень. Однак реплікаційні дослідження часто недооцінюються та недофінансовуються. Щоб вирішити цю проблему, фінансові агентства повинні виділяти більше ресурсів на реплікаційні дослідження, а журнали повинні бути більш готовими їх публікувати. Дослідників також слід заохочувати проводити реплікаційні дослідження та робити їхні результати загальнодоступними.
Посилення дослідницької етики та доброчесності: Посилення дослідницької етики та доброчесності є вирішальним для запобігання шахрайству та неправомірній поведінці. Це включає надання дослідникам тренінгів з етичної поведінки, просування культури прозорості та підзвітності, а також встановлення чітких процедур для розслідування звинувачень у неправомірній поведінці. Установи також повинні впроваджувати політику захисту викривачів та гарантувати, що дослідники не будуть покарані за повідомлення про неправомірну поведінку.
Розробка та прийняття настанов зі звітності: Стандартизовані настанови зі звітності, такі як настанови CONSORT для клінічних випробувань та настанови PRISMA для систематичних оглядів, можуть допомогти покращити прозорість та повноту звітів про дослідження. Ці настанови надають контрольні списки інформації, яка повинна бути включена у звіти про дослідження, що полегшує читачам оцінку якості та надійності дослідження. Журнали повинні заохочувати авторів дотримуватися цих настанов та надавати тренінги та ресурси, щоб допомогти їм у цьому.

Приклади ініціатив та організацій, що вирішують кризу

Кілька ініціатив та організацій активно працюють над вирішенням кризи відтворюваності:

The Open Science Framework (OSF): Безкоштовна платформа з відкритим кодом, яка підтримує практики відкритої науки, надаючи інструменти для обміну даними, обміну кодом, попередньої реєстрації та співпраці.
The Center for Open Science (COS): Організація, що займається просуванням практик відкритої науки та покращенням відтворюваності досліджень. COS проводить дослідження, розробляє інструменти та надає тренінги, щоб допомогти дослідникам впроваджувати практики відкритої науки.
Registered Reports: Формат публікації, де дослідження рецензуються до збору даних, а прийняття ґрунтується на дизайні та обґрунтуванні дослідження, а не на результатах. Це допомагає зменшити публікаційну упередженість та p-хакінг.
Many Labs Projects: Масштабні спільні проєкти, які відтворюють дослідження в кількох лабораторіях для оцінки узагальнюваності висновків.
The Reproducibility Project: Cancer Biology: Ініціатива з відтворення добірки високоімпактних статей з біології раку для оцінки відтворюваності досліджень раку.
AllTrials: Кампанія, що закликає до реєстрації всіх клінічних випробувань та звітування про їхні результати.

Глобальні перспективи відтворюваності

Криза відтворюваності є глобальною проблемою, але виклики та рішення можуть відрізнятися в різних країнах та регіонах. Такі фактори, як фінансування досліджень, академічна культура та нормативно-правова база, можуть впливати на відтворюваність досліджень. Наприклад:

Європа: Європейська комісія запустила ініціативи для просування відкритої науки та покращення доброчесності досліджень у всьому Європейському Союзі. Ці ініціативи включають фінансування публікацій у відкритому доступі, обмін даними та тренінги з дослідницької етики.
Північна Америка: Національні інститути здоров'я (NIH) у Сполучених Штатах впровадили політику для сприяння суворості та відтворюваності в біомедичних дослідженнях. Ця політика включає вимоги щодо обміну даними, попередньої реєстрації клінічних випробувань та тренінгів зі статистичних методів.
Азія: Такі країни, як Китай та Індія, значно інвестують у дослідження та розробки, але вони також стикаються з проблемами у забезпеченні якості та надійності досліджень. В Азії зростає усвідомлення кризи відтворюваності, і докладаються зусилля для просування відкритої науки та покращення дослідницької етики.
Африка: Африканські країни стикаються з унікальними проблемами у проведенні та відтворенні досліджень через обмежені ресурси та інфраструктуру. Однак в Африці зростає визнання важливості відкритої науки та обміну даними, і вживаються ініціативи для просування цих практик.

Майбутнє надійності досліджень

Вирішення кризи відтворюваності — це тривалий процес, який вимагає постійних зусиль та співпраці з боку дослідників, установ, фінансових агентств та журналів. Просуваючи практики відкритої науки, покращуючи статистичну підготовку, змінюючи структуру стимулів, посилюючи рецензування та зміцнюючи дослідницьку етику, ми можемо покращити надійність та валідність досліджень і побудувати більш надійне та впливове наукове підприємство.

Майбутнє досліджень залежить від нашої здатності вирішити кризу відтворюваності та забезпечити, щоб наукові висновки були стійкими, надійними та узагальнюваними. Це вимагатиме культурного зсуву у способі проведення та оцінки досліджень, але переваги такого зсуву будуть величезними, що призведе до швидшого прогресу в науці, кращих результатів для пацієнтів і суспільства та більшої довіри громадськості до наукового підприємства.

Дієві поради для дослідників

Ось кілька практичних кроків, які дослідники можуть зробити для покращення відтворюваності своєї роботи:

Попередньо реєструйте свої дослідження: Використовуйте платформи, такі як OSF, для попередньої реєстрації ваших гіпотез, методів та планів аналізу перед збором даних.
Діліться своїми даними та кодом: Робіть свої дані, код та матеріали загальнодоступними, коли це можливо.
Використовуйте суворі статистичні методи: Консультуйтеся зі статистиком та використовуйте відповідні статистичні методи для аналізу ваших даних.
Звітуйте про всі результати: Уникайте вибіркового звітування та повідомляйте про всі результати, включаючи негативні або непереконливі.
Проводьте реплікаційні дослідження: Намагайтеся відтворити власні результати та заохочуйте інших робити те ж саме.
Дотримуйтесь настанов зі звітності: Дотримуйтесь настанов зі звітності, таких як CONSORT та PRISMA, щоб забезпечити прозорість та повноту.
Відвідуйте семінари та тренінги: Постійно вдосконалюйте свої знання та навички з методів дослідження та статистики.
Виступайте за відкриту науку: Просувайте практики відкритої науки у вашій установі та спільноті.

Роблячи ці кроки, дослідники можуть зробити внесок у більш надійне та гідне довіри наукове підприємство та допомогти у вирішенні кризи відтворюваності.