Кризис воспроизводимости: понимание и решение проблемы надежности исследований

В последние годы в научном сообществе возникла растущая озабоченность, которую часто называют «кризисом воспроизводимости». Этот кризис подчеркивает тревожную скорость, с которой результаты исследований в различных дисциплинах не удается повторить или воспроизвести независимыми исследователями. Это поднимает фундаментальные вопросы о надежности и обоснованности опубликованных исследований и имеет далеко идущие последствия для науки, политики и общества.

Что такое кризис воспроизводимости?

Кризис воспроизводимости – это не просто отдельные случаи неудачных экспериментов. Он представляет собой системную проблему, когда значительная часть опубликованных результатов исследований не может быть независимо проверена. Это может проявляться несколькими способами:

• Неудача репликации: Невозможность получить те же результаты при повторении исследования с использованием тех же материалов и методов, что и в исходном исследовании.
• Неудача воспроизводимости: Невозможность получить те же результаты при повторном анализе исходных данных с использованием тех же аналитических методов.
• Проблемы с обобщаемостью: Когда результаты конкретного исследования не могут быть применены к другим популяциям, контекстам или условиям.

Важно различать репликацию и воспроизводимость. Репликация предполагает проведение совершенно нового исследования для проверки исходной гипотезы, в то время как воспроизводимость фокусируется на повторном анализе исходных данных для проверки результатов. И то, и другое имеет решающее значение для установления надежности научных выводов.

Масштаб проблемы: затронутые дисциплины

Кризис воспроизводимости не ограничивается какой-либо одной областью; он затрагивает широкий спектр дисциплин, в том числе:

• Психология: Эта область находится в авангарде признания кризиса, при этом исследования демонстрируют низкую скорость репликации классических психологических экспериментов. Например, проект «Open Science Collaboration» попытался повторить 100 исследований, опубликованных в ведущих психологических журналах, и обнаружил, что только 36% репликаций дали статистически значимые результаты в том же направлении, что и исходное исследование.
• Медицина и биомедицинские исследования: Неспособность повторить результаты доклинических исследований может иметь серьезные последствия для разработки лекарств и клинических испытаний. Исследования показали, что значительный процент доклинических данных в таких областях, как исследования рака, не может быть воспроизведен, что приводит к пустой трате ресурсов и потенциальному вреду для пациентов. В исследовании Bayer 2011 года сообщалось, что они смогли воспроизвести результаты только 25% опубликованных доклинических исследований, которые они изучили. Amgen столкнулась с аналогичной проблемой, успешно воспроизведя только 11% «знаковых» исследований в области исследований рака, которые они рассмотрели.
• Экономика: В экономике также были подняты вопросы о манипулировании данными, выборочном представлении данных и отсутствии прозрачности. Исследователи все чаще выступают за предварительную регистрацию исследований и открытый обмен данными для повышения доверия к экономическим исследованиям.
• Инженерия: Хотя это обсуждается меньше, инженерные области также подвержены этому. Результаты моделирования и экспериментальные данные могут быть не полностью задокументированы или не предоставлены, что препятствует независимой проверке проектных заявлений.
• Социальные науки: Как и в психологии, другие социальные науки, такие как социология и политология, сталкиваются с проблемами при воспроизведении сложных социальных явлений и результатов опросов.

Причины кризиса воспроизводимости

Кризис воспроизводимости – это многогранная проблема с несколькими способствующими факторами:

• Предвзятость публикации: Журналы часто предпочитают публиковать положительные или статистически значимые результаты, что приводит к предвзятости против отрицательных или неубедительных результатов. Эта «проблема с файловым ящиком» означает, что значительное количество исследований, которые не подтверждают гипотезу, остаются неопубликованными, искажая общую картину.
• Статистическая значимость и p-хакинг: Чрезмерная зависимость от p-значений как единственного критерия оценки значимости результатов может привести к «p-хакингу», когда исследователи манипулируют данными или методами анализа для получения статистически значимых результатов, даже если они являются ложными. Это включает в себя такие методы, как добавление или удаление точек данных, изменение статистического теста или выборочное сообщение только о значимых результатах нескольких анализов.
• Отсутствие прозрачности и обмена данными: Многие исследователи не делятся своими данными, кодом или подробными методами, что делает невозможным для других проверить их выводы. Это отсутствие прозрачности препятствует независимой репликации и усилиям по воспроизводимости. Патентованные данные или программное обеспечение, а также вопросы конфиденциальности также могут способствовать этому.
• Неадекватная подготовка по методам исследования и статистике: Недостаточная подготовка в области тщательного дизайна исследований, статистического анализа и управления данными может привести к ошибкам и предвзятости в исследованиях. Исследователи могут не знать о передовых методах обеспечения воспроизводимости и могут непреднамеренно заниматься практиками, которые подрывают надежность их результатов.
• Стимулы к новизне и влиянию: Академическая система вознаграждения часто отдает приоритет новым и влиятельным результатам, а не строгим и воспроизводимым исследованиям. Это может стимулировать исследователей срезать углы, заниматься сомнительной исследовательской практикой или переоценивать значимость своих результатов, чтобы публиковаться в журналах с высоким импакт-фактором.
• Сложность исследований: Некоторые области исследований, особенно те, которые включают сложные системы или большие наборы данных, по своей сути трудно воспроизвести. Такие факторы, как вариации экспериментальных условий, тонкие различия в обработке данных и присущая стохастичность сложных систем, могут затруднять получение последовательных результатов в разных исследованиях.
• Мошенничество и неправомерное поведение: Хотя это менее распространено, случаи откровенного мошенничества или фальсификации данных также способствуют кризису воспроизводимости. Хотя это относительно редко, эти случаи подрывают общественное доверие к науке и подчеркивают важность надежной этики исследований и надзора.

Последствия кризиса воспроизводимости

Последствия кризиса воспроизводимости являются далеко идущими и затрагивают различные аспекты науки и общества:

• Эрозия общественного доверия к науке: Когда результаты исследований признаются ненадежными, это может подорвать общественное доверие к науке и ученым. Это может иметь негативные последствия для государственной поддержки финансирования исследований, принятия научных данных и готовности принимать основанную на науке политику.
• Потеря ресурсов: Невоспроизводимые исследования представляют собой значительную трату ресурсов, включая время, деньги и усилия. Когда исследования не могут быть воспроизведены, это означает, что первоначальные инвестиции в исследования были по сути потрачены впустую, и дальнейшие исследования, основанные на этих ненадежных результатах, также могут быть ошибочными.
• Замедление прогресса в науке: Кризис воспроизводимости может замедлить темпы научного прогресса, отвлекая ресурсы и внимание от надежных исследований. Когда исследователи тратят время и усилия, пытаясь повторить ненадежные результаты, это лишает их возможности проводить новые исследования и добиваться реального прогресса в своей области.
• Вред для пациентов и общества: В таких областях, как медицина и здравоохранение, невоспроизводимые исследования могут иметь прямые последствия для пациентов и общества. Например, если лекарство или лечение основано на ненадежных исследованиях, оно может быть неэффективным или даже вредным. Аналогичным образом, если политика общественного здравоохранения основана на ошибочных данных, это может привести к непредвиденным последствиям.
• Ущерб для научных карьер: Исследователи, участвующие в невоспроизводимых исследованиях, могут понести ущерб для своей карьеры. Это может включать трудности с получением финансирования, публикацией в журналах с высоким импакт-фактором и получением академических должностей. Давление, связанное с публикацией, и конкурентный характер академических исследований могут стимулировать исследователей срезать углы и заниматься сомнительной исследовательской практикой, что в конечном итоге может навредить их карьере.

Решение кризиса воспроизводимости: решения и стратегии

Решение кризиса воспроизводимости требует многогранного подхода, включающего изменения в практике исследований, стимулах и институциональной политике:

• Продвижение практики открытой науки: Практики открытой науки, такие как обмен данными, обмен кодом и предварительная регистрация исследований, необходимы для повышения воспроизводимости. Открытые данные позволяют другим исследователям проверять исходные результаты и проводить дальнейший анализ. Предварительная регистрация помогает предотвратить p-хакинг и выборочный отчет, требуя от исследователей заранее указывать свои гипотезы, методы и планы анализа. Такие платформы, как Open Science Framework (OSF), предоставляют ресурсы и инструменты для реализации практики открытой науки.
• Совершенствование статистической подготовки и методов: Предоставление исследователям лучшей подготовки в области статистических методов и дизайна исследований имеет решающее значение для предотвращения ошибок и предвзятости. Это включает в себя обучение исследователей ограничениям p-значений, важности размеров эффектов и возможности p-хакинга. Это также предполагает содействие использованию более надежных статистических методов, таких как байесовская статистика и метаанализ.
• Изменение структуры стимулов: Академическая система вознаграждения нуждается в реформировании, чтобы отдать приоритет строгим и воспроизводимым исследованиям, а не новизне и влиянию. Это включает в себя признание и вознаграждение исследователей за обмен данными, исследования репликации и вклад в открытую науку. Журналы и финансирующие организации также должны учитывать придание большего веса методологической строгости предложений и публикаций исследований.
• Усиление экспертной оценки: Экспертная оценка играет решающую роль в обеспечении качества и надежности исследований. Однако процесс экспертной оценки часто несовершенен и может быть подвержен предвзятости. Чтобы улучшить экспертную оценку, журналы должны рассмотреть возможность внедрения более прозрачных и строгих процессов рецензирования, таких как требование от рецензентов оценивать качество данных, кода и методов. Они также должны поощрять рецензентов сосредотачиваться на методологической строгости исследования, а не только на новизне результатов.
• Продвижение исследований репликации: Исследования репликации необходимы для проверки надежности результатов исследований. Однако исследования репликации часто недооцениваются и недофинансируются. Чтобы решить эту проблему, финансирующие организации должны выделять больше ресурсов на исследования репликации, а журналы должны быть более готовы их публиковать. Исследователей также следует поощрять проводить исследования репликации и делать свои выводы общедоступными.
• Повышение этики и честности исследований: Укрепление этики и честности исследований имеет решающее значение для предотвращения мошенничества и неправомерного поведения. Это включает в себя предоставление исследователям подготовки по этическому поведению, содействие культуре прозрачности и подотчетности и установление четких процедур расследования обвинений в неправомерном поведении. Учреждения также должны внедрить политику защиты информаторов и обеспечивать, чтобы исследователи не подвергались наказанию за сообщение о неправомерном поведении.
• Разработка и принятие руководящих принципов отчетности: Стандартизированные руководящие принципы отчетности, такие как руководящие принципы CONSORT для клинических испытаний и руководящие принципы PRISMA для систематических обзоров, могут помочь повысить прозрачность и полноту отчетов об исследованиях. Эти руководящие принципы предоставляют контрольные списки информации, которую следует включать в отчеты об исследованиях, что облегчает читателям оценку качества и надежности исследований. Журналы должны поощрять авторов следовать этим руководящим принципам и предоставлять обучение и ресурсы, чтобы помочь им в этом.

Примеры инициатив и организаций, решающих проблему кризиса

Несколько инициатив и организаций активно работают над решением проблемы кризиса воспроизводимости:

• Open Science Framework (OSF): Бесплатная платформа с открытым исходным кодом, которая поддерживает практику открытой науки, предоставляя инструменты для обмена данными, обмена кодом, предварительной регистрации и совместной работы.
• Центр открытой науки (COS): Организация, занимающаяся продвижением практики открытой науки и улучшением воспроизводимости исследований. COS проводит исследования, разрабатывает инструменты и предоставляет обучение, чтобы помочь исследователям принять практику открытой науки.
• Зарегистрированные отчеты: Формат публикации, в котором исследования проходят экспертную оценку до сбора данных, с принятием на основе дизайна исследования и обоснования, а не результатов. Это помогает уменьшить предвзятость публикации и p-хакинг.
• Проекты «Many Labs»: Крупномасштабные совместные проекты, которые повторяют исследования в нескольких лабораториях, чтобы оценить обобщаемость результатов.
• Проект воспроизводимости: Биология рака: Инициатива по воспроизведению подборки статей по биологии рака с высоким импакт-фактором для оценки воспроизводимости исследований рака.
• AllTrials: Кампания с призывом зарегистрировать все клинические испытания и сообщить об их результатах.

Глобальные перспективы воспроизводимости

Кризис воспроизводимости является глобальной проблемой, но проблемы и решения могут различаться в разных странах и регионах. Такие факторы, как финансирование исследований, академическая культура и нормативно-правовая база, могут влиять на воспроизводимость исследований. Например:

• Европа: Европейская комиссия запустила инициативы по продвижению открытой науки и повышению научной честности в Европейском союзе. Эти инициативы включают финансирование открытого доступа, обмена данными и обучения этике исследований.
• Северная Америка: Национальные институты здравоохранения (NIH) в США внедрили политику, направленную на повышение строгости и воспроизводимости в биомедицинских исследованиях. Эта политика включает требования к обмену данными, предварительной регистрации клинических испытаний и обучению статистическим методам.
• Азия: Такие страны, как Китай и Индия, вкладывают значительные средства в исследования и разработки, но они также сталкиваются с проблемами в обеспечении качества и надежности исследований. В Азии растет осведомленность о кризисе воспроизводимости, и предпринимаются усилия по продвижению открытой науки и улучшению этики исследований.
• Африка: Африканские страны сталкиваются с уникальными проблемами при проведении и воспроизведении исследований из-за ограниченных ресурсов и инфраструктуры. Тем не менее, растет признание важности открытой науки и обмена данными в Африке, и предпринимаются инициативы по продвижению этих практик.

Будущее надежности исследований

Решение кризиса воспроизводимости – это непрерывный процесс, требующий постоянных усилий и сотрудничества исследователей, учреждений, финансирующих организаций и журналов. Продвигая практику открытой науки, улучшая статистическую подготовку, изменяя структуру стимулов, укрепляя экспертную оценку и повышая этику исследований, мы можем повысить надежность и обоснованность исследований и построить более заслуживающее доверия и влиятельное научное предприятие.

Будущее исследований зависит от нашей способности решить кризис воспроизводимости и обеспечить надежность, достоверность и обобщаемость научных результатов. Это потребует сдвига в культуре того, как мы проводим и оцениваем исследования, но преимущества такого сдвига будут огромны, что приведет к более быстрому прогрессу в науке, улучшению результатов для пациентов и общества и большему общественному доверию к научному предприятию.

Практические идеи для исследователей

Вот несколько практических шагов, которые исследователи могут предпринять для повышения воспроизводимости своей работы:

• Предварительно зарегистрируйте свои исследования: Используйте такие платформы, как OSF, для предварительной регистрации своих гипотез, методов и планов анализа до сбора данных.
• Делитесь своими данными и кодом: Делайте свои данные, код и материалы общедоступными, когда это возможно.
• Используйте строгие статистические методы: Проконсультируйтесь со статистиком и используйте соответствующие статистические методы для анализа своих данных.
• Сообщайте обо всех результатах: Избегайте выборочного отчета и сообщайте обо всех результатах, включая отрицательные или неубедительные результаты.
• Проводите исследования репликации: Попытайтесь воспроизвести свои собственные результаты и поощряйте других делать то же самое.
• Следуйте руководящим принципам отчетности: Соблюдайте руководящие принципы отчетности, такие как CONSORT и PRISMA, чтобы обеспечить прозрачность и полноту.
• Посещайте семинары и учебные занятия: Непрерывно улучшайте свои знания и навыки в области методов исследования и статистики.
• Выступайте за открытую науку: Продвигайте практику открытой науки в своем учреждении и сообществе.

Принимая эти меры, исследователи могут внести свой вклад в более надежное и заслуживающее доверия научное предприятие и помочь в решении кризиса воспроизводимости.