재현성 위기: 연구 신뢰성 이해 및 해결

최근 몇 년 동안 과학계 내에서 종종 "재현성 위기"라고 불리는 우려가 커지고 있습니다. 이 위기는 다양한 분야의 연구 결과가 독립적인 연구자에 의해 복제되거나 재현되지 않는다는 놀라운 비율을 강조합니다. 이는 발표된 연구의 신뢰성과 타당성에 대한 근본적인 질문을 제기하며 과학, 정책 및 사회에 광범위한 영향을 미칩니다.

재현성 위기란 무엇인가?

재현성 위기는 단순히 고립된 실험 실패 사례에 관한 것이 아닙니다. 이는 발표된 연구 결과의 상당 부분이 독립적으로 검증될 수 없는 체계적인 문제를 나타냅니다. 이는 여러 가지 방식으로 나타날 수 있습니다.

• 복제 실패: 원래 연구와 동일한 재료와 방법을 사용하여 연구를 반복할 때 동일한 결과를 얻을 수 없는 경우.
• 재현 실패: 동일한 분석 방법을 사용하여 원래 데이터를 다시 분석할 때 동일한 결과를 얻을 수 없는 경우.
• 일반화 문제: 특정 연구의 결과가 다른 모집단, 맥락 또는 환경에 적용될 수 없는 경우.

복제와 재현성을 구별하는 것이 중요합니다. 복제는 원래 가설을 검증하기 위해 완전히 새로운 연구를 수행하는 반면, 재현성은 결과를 확인하기 위해 원래 데이터를 재분석하는 데 중점을 둡니다. 두 가지 모두 과학적 결과의 견고성을 확립하는 데 중요합니다.

문제의 범위: 영향을 받는 분야

재현성 위기는 단일 분야에 국한되지 않으며 다음을 포함하여 광범위한 분야에 영향을 미칩니다.

• 심리학: 이 분야는 위기를 인정하는 데 앞장서 왔으며, 고전적인 심리 실험에 대한 낮은 복제율을 보여주는 연구가 있습니다. 예를 들어, "오픈 사이언스 협업" 프로젝트는 주요 심리학 저널에 발표된 100개의 연구를 복제하려고 시도했으며, 복제의 36%만이 원래 연구와 동일한 방향으로 통계적으로 유의미한 결과를 생성했습니다.
• 의학 및 생물의학 연구: 전임상 연구에서 결과를 복제하지 못하면 약물 개발 및 임상 시험에 심각한 결과를 초래할 수 있습니다. 암 연구와 같은 분야에서 전임상 연구 결과의 상당 부분이 복제될 수 없다는 연구 결과가 나타났으며, 이는 자원 낭비와 환자에게 잠재적인 해를 끼칠 수 있습니다. 2011년 바이엘의 연구에 따르면, 그들이 검토한 발표된 전임상 연구의 25%의 결과만 복제할 수 있었다고 보고했습니다. 암젠은 유사한 과제에 직면하여 검토한 암 연구의 "랜드마크" 연구의 11%만 성공적으로 복제했습니다.
• 경제학: 데이터 조작, 선택적 보고 및 투명성 부족에 대한 우려도 경제학에서 제기되었습니다. 연구자들은 경제 연구의 신뢰성을 높이기 위해 연구 사전 등록 및 데이터 공개를 점점 더 옹호하고 있습니다.
• 공학: 덜 논의되지만, 공학 분야도 취약합니다. 시뮬레이션 결과와 실험 데이터가 완전히 문서화되거나 제공되지 않아 설계 주장의 독립적인 검증을 방해할 수 있습니다.
• 사회 과학: 심리학과 마찬가지로 사회학 및 정치학과 같은 다른 사회 과학은 복잡한 사회 현상 및 설문 조사 결과를 복제하는 데 어려움을 겪고 있습니다.

재현성 위기의 원인

재현성 위기는 여러 가지 기여 요인이 있는 다면적인 문제입니다.

• 출판 편향: 저널은 종종 긍정적이거나 통계적으로 유의미한 결과를 게시하는 것을 선호하여 부정적이거나 결정적인 결과에 대한 편향을 초래합니다. 이 "파일 보관 문제"는 가설을 뒷받침하지 않는 상당한 양의 연구가 게시되지 않은 상태로 남아 전반적인 그림을 왜곡한다는 것을 의미합니다.
• 통계적 유의성 및 p-해킹: 결과의 중요성을 판단하는 유일한 기준으로 p-값을 과도하게 의존하면, 연구자가 통계적으로 유의미한 결과를 얻기 위해 데이터를 조작하거나 분석 방법을 조작하는 "p-해킹"으로 이어질 수 있습니다. 이는 데이터 포인트 추가 또는 제거, 통계 테스트 변경 또는 여러 분석에서 유의미한 결과만 선택적으로 보고하는 기술을 포함합니다.
• 투명성 및 데이터 공유 부족: 많은 연구자가 데이터, 코드 또는 자세한 방법을 공유하지 않아 다른 사람이 결과를 확인할 수 없습니다. 이러한 투명성 부족은 독립적인 복제 및 재현 노력을 방해합니다. 독점 데이터 또는 소프트웨어, 그리고 기밀 유지에 대한 우려도 이에 기여할 수 있습니다.
• 연구 방법 및 통계에 대한 부적절한 교육: 엄격한 연구 설계, 통계 분석 및 데이터 관리에 대한 충분한 교육이 부족하면 연구에서 오류와 편향이 발생할 수 있습니다. 연구자는 재현성을 보장하기 위한 모범 사례를 인식하지 못할 수 있으며, 의도치 않게 결과의 신뢰성을 훼손하는 관행에 참여할 수 있습니다.
• 참신함과 영향력에 대한 인센티브: 학문적 보상 시스템은 종종 엄격하고 재현 가능한 연구보다 참신하고 영향력 있는 결과를 우선시합니다. 이는 연구자가 지름길을 택하고, 의심스러운 연구 관행에 참여하거나, 영향력이 높은 저널에 게재하기 위해 결과의 중요성을 과장하도록 장려할 수 있습니다.
• 연구의 복잡성: 복잡한 시스템이나 대규모 데이터 세트를 포함하는 일부 연구 분야는 본질적으로 재현하기 어렵습니다. 실험 조건의 변동, 데이터 처리의 미묘한 차이, 복잡한 시스템의 고유한 확률론적 특성과 같은 요인으로 인해 서로 다른 연구에서 일관된 결과를 얻는 것이 어려울 수 있습니다.
• 사기 및 위법 행위: 덜 일반적이지만, 데이터의 노골적인 사기 또는 조작 사례도 재현성 위기에 기여합니다. 비교적 드물지만, 이러한 사례는 과학에 대한 대중의 신뢰를 훼손하고 강력한 연구 윤리와 감독의 중요성을 강조합니다.

재현성 위기의 결과

재현성 위기의 결과는 광범위하며 과학과 사회의 다양한 측면에 영향을 미칩니다.

• 과학에 대한 대중의 신뢰 훼손: 연구 결과가 신뢰할 수 없다는 것이 밝혀지면 과학과 과학자에 대한 대중의 신뢰가 훼손될 수 있습니다. 이는 연구 자금 지원에 대한 대중의 지원, 과학적 증거 수용 및 과학 기반 정책 채택 의지에 부정적인 결과를 초래할 수 있습니다.
• 자원 낭비: 재현할 수 없는 연구는 시간, 돈 및 노력을 포함하여 상당한 자원 낭비를 나타냅니다. 연구를 복제할 수 없으면 연구에 대한 원래 투자가 본질적으로 낭비된 것이고, 해당 신뢰할 수 없는 결과를 기반으로 한 추가 연구도 잘못된 방향으로 갈 수 있습니다.
• 과학 발전의 둔화: 재현성 위기는 신뢰할 수 없는 연구에서 벗어나 신뢰할 수 있는 연구에 자원과 관심을 돌려 과학 발전의 속도를 늦출 수 있습니다. 연구자가 신뢰할 수 없는 결과를 복제하기 위해 시간과 노력을 소비하면, 해당 분야에서 새로운 연구를 수행하고 진정한 발전을 이루는 능력이 저하됩니다.
• 환자와 사회에 대한 피해: 의학 및 공중 보건과 같은 분야에서 재현할 수 없는 연구는 환자와 사회에 직접적인 결과를 초래할 수 있습니다. 예를 들어, 약물이나 치료법이 신뢰할 수 없는 연구를 기반으로 하는 경우 효과가 없거나 심지어 해로울 수 있습니다. 마찬가지로, 공중 보건 정책이 결함 있는 데이터를 기반으로 하는 경우 의도하지 않은 결과를 초래할 수 있습니다.
• 과학적 경력에 대한 피해: 재현할 수 없는 연구에 관련된 연구자는 경력에 피해를 입을 수 있습니다. 여기에는 자금 확보의 어려움, 영향력이 높은 저널에 게재의 어려움 및 학문적 지위 확보의 어려움이 포함될 수 있습니다. 게재에 대한 압박과 학문 연구의 경쟁적인 특성으로 인해 연구자가 지름길을 택하고 의심스러운 연구 관행에 참여하도록 장려될 수 있으며, 이는 궁극적으로 경력에 해를 끼칠 수 있습니다.

재현성 위기 해결: 해결책 및 전략

재현성 위기를 해결하려면 연구 관행, 인센티브 및 제도적 정책의 변화를 포함하는 다각적인 접근 방식이 필요합니다.

• 오픈 사이언스 관행 장려: 데이터 공유, 코드 공유 및 연구 사전 등록과 같은 오픈 사이언스 관행은 재현성을 개선하는 데 필수적입니다. 오픈 데이터를 통해 다른 연구자가 원래 결과를 확인하고 추가 분석을 수행할 수 있습니다. 사전 등록은 연구자가 가설, 방법 및 분석 계획을 미리 지정하도록 요구하여 p-해킹 및 선택적 보고를 방지하는 데 도움이 됩니다. 오픈 사이언스 프레임워크(OSF)와 같은 플랫폼은 오픈 사이언스 관행을 구현하기 위한 리소스와 도구를 제공합니다.
• 통계 교육 및 방법 개선: 연구자에게 통계적 방법 및 연구 설계에 대한 더 나은 교육을 제공하는 것은 오류 및 편향을 방지하는 데 중요합니다. 여기에는 연구자에게 p-값의 제한 사항, 효과 크기의 중요성 및 p-해킹의 가능성에 대해 가르치는 것이 포함됩니다. 또한 베이즈 통계 및 메타 분석과 같은 보다 강력한 통계적 방법의 사용을 장려하는 것도 포함됩니다.
• 인센티브 구조 변경: 학문적 보상 시스템은 참신함과 영향력보다 엄격하고 재현 가능한 연구를 우선시하도록 개혁되어야 합니다. 여기에는 데이터 공유, 복제 연구 및 오픈 사이언스에 대한 기여에 대해 연구자를 인식하고 보상하는 것이 포함됩니다. 저널 및 자금 지원 기관은 연구 제안 및 간행물의 방법론적 엄격성에 더 많은 비중을 두는 것을 고려해야 합니다.
• 동료 심사 강화: 동료 심사는 연구의 품질과 신뢰성을 보장하는 데 중요한 역할을 합니다. 그러나 동료 심사 프로세스는 종종 결함이 있으며 편향에 취약할 수 있습니다. 동료 심사를 개선하기 위해 저널은 데이터, 코드 및 방법의 품질을 평가하도록 심사자에게 요구하는 등 보다 투명하고 엄격한 심사 프로세스를 구현하는 것을 고려해야 합니다. 또한 연구 결과의 참신함뿐만 아니라 연구의 방법론적 엄격성에 초점을 맞추도록 심사자를 장려해야 합니다.
• 복제 연구 장려: 복제 연구는 연구 결과의 신뢰성을 확인하는 데 필수적입니다. 그러나 복제 연구는 종종 과소 평가되고 자금 지원이 부족합니다. 이를 해결하기 위해 자금 지원 기관은 복제 연구에 더 많은 자원을 할당해야 하며, 저널은 이를 게재하는 데 더 적극적이어야 합니다. 연구자 또한 복제 연구를 수행하고 결과를 공개적으로 제공하도록 장려해야 합니다.
• 연구 윤리 및 진실성 향상: 연구 윤리 및 진실성을 강화하는 것은 사기 및 위법 행위를 방지하는 데 중요합니다. 여기에는 연구자에게 윤리적 행위에 대한 교육을 제공하고, 투명성과 책임의 문화를 장려하며, 위법 행위 혐의를 조사하기 위한 명확한 절차를 수립하는 것이 포함됩니다. 기관은 또한 내부 고발자를 보호하고 연구자가 위법 행위를 보고하는 것에 대해 처벌받지 않도록 하는 정책을 시행해야 합니다.
• 보고 가이드라인 개발 및 채택: 임상 시험에 대한 CONSORT 가이드라인 및 체계적 검토에 대한 PRISMA 가이드라인과 같은 표준화된 보고 가이드라인은 연구 보고서의 투명성과 완전성을 개선하는 데 도움이 될 수 있습니다. 이러한 가이드라인은 연구 보고서에 포함되어야 하는 정보의 체크리스트를 제공하여 독자가 연구의 품질과 신뢰성을 쉽게 평가할 수 있도록 합니다. 저널은 저자에게 이러한 가이드라인을 따르도록 권장하고 이를 수행하는 데 도움이 되는 교육 및 리소스를 제공해야 합니다.

위기를 해결하는 이니셔티브 및 조직의 예

재현성 위기를 해결하기 위해 적극적으로 노력하고 있는 몇 가지 이니셔티브와 조직이 있습니다.

• 오픈 사이언스 프레임워크(OSF): 데이터 공유, 코드 공유, 사전 등록 및 협업을 위한 도구를 제공하여 오픈 사이언스 관행을 지원하는 무료 오픈 소스 플랫폼입니다.
• 오픈 사이언스 센터(COS): 오픈 사이언스 관행을 장려하고 연구의 재현성을 개선하기 위해 헌신하는 조직입니다. COS는 연구를 수행하고, 도구를 개발하고, 연구자가 오픈 사이언스 관행을 채택하도록 돕기 위한 교육을 제공합니다.
• 등록 보고서: 데이터 수집 전에 연구가 동료 심사를 받는 간행물 형식으로, 결과가 아닌 연구 설계 및 근거에 따라 승인됩니다. 이는 출판 편향 및 p-해킹을 줄이는 데 도움이 됩니다.
• 다수 연구실 프로젝트: 결과의 일반성을 평가하기 위해 여러 연구실에서 연구를 복제하는 대규모 협업 프로젝트입니다.
• 재현성 프로젝트: 암 생물학: 암 연구의 재현성을 평가하기 위해 엄선된 영향력이 큰 암 생물학 논문을 복제하는 이니셔티브입니다.
• AllTrials: 모든 임상 시험을 등록하고 결과를 보고할 것을 요구하는 캠페인.

재현성에 대한 글로벌 관점

재현성 위기는 글로벌 문제이지만, 과제와 해결책은 국가와 지역에 따라 다를 수 있습니다. 연구 자금 지원, 학문 문화 및 규제 프레임워크와 같은 요인이 연구의 재현성에 영향을 미칠 수 있습니다. 예를 들어:

• 유럽: 유럽 위원회는 유럽 연합 전반에 걸쳐 오픈 사이언스를 장려하고 연구의 진실성을 개선하기 위한 이니셔티브를 시작했습니다. 이러한 이니셔티브에는 오픈 액세스 출판, 데이터 공유 및 연구 윤리에 대한 교육에 대한 자금 지원이 포함됩니다.
• 북미: 미국의 국립 보건원(NIH)은 생물의학 연구의 엄격성과 재현성을 장려하기 위한 정책을 시행했습니다. 이러한 정책에는 임상 시험의 데이터 공유, 사전 등록 및 통계적 방법 교육에 대한 요구 사항이 포함됩니다.
• 아시아: 중국 및 인도와 같은 국가는 연구 개발에 많은 투자를 하고 있지만, 연구의 품질과 신뢰성을 보장하는 데 어려움을 겪고 있습니다. 아시아에서는 재현성 위기에 대한 인식이 높아지고 있으며, 오픈 사이언스를 장려하고 연구 윤리를 개선하기 위한 노력이 진행 중입니다.
• 아프리카: 아프리카 국가는 제한된 자원과 인프라로 인해 연구 수행 및 복제에 고유한 어려움에 직면해 있습니다. 그러나 아프리카에서는 오픈 사이언스 및 데이터 공유의 중요성에 대한 인식이 높아지고 있으며, 이러한 관행을 장려하기 위한 이니셔티브가 진행 중입니다.

연구 신뢰성의 미래

재현성 위기를 해결하는 것은 연구자, 기관, 자금 지원 기관 및 저널의 지속적인 노력과 협업이 필요한 지속적인 프로세스입니다. 오픈 사이언스 관행을 장려하고, 통계 교육을 개선하고, 인센티브 구조를 변경하고, 동료 심사를 강화하고, 연구 윤리를 개선함으로써 연구의 신뢰성과 타당성을 개선하고 더욱 신뢰할 수 있고 영향력 있는 과학적 기업을 구축할 수 있습니다.

연구의 미래는 재현성 위기를 해결하고 과학적 결과가 강력하고 신뢰할 수 있으며 일반화할 수 있도록 하는 능력에 달려 있습니다. 이를 위해서는 연구를 수행하고 평가하는 방식의 문화적 변화가 필요하지만, 이러한 변화의 이점은 엄청날 것이며, 과학의 더 빠른 발전, 환자와 사회를 위한 더 나은 결과, 과학적 기업에 대한 더 큰 대중의 신뢰로 이어질 것입니다.

연구자를 위한 실행 가능한 통찰력

연구자가 연구의 재현성을 개선하기 위해 취할 수 있는 몇 가지 실행 가능한 단계는 다음과 같습니다.

• 연구 사전 등록: OSF와 같은 플랫폼을 사용하여 데이터를 수집하기 전에 가설, 방법 및 분석 계획을 사전 등록하십시오.
• 데이터 및 코드 공유: 가능할 때마다 데이터, 코드 및 자료를 공개적으로 제공하십시오.
• 엄격한 통계적 방법 사용: 통계학자와 상담하고 데이터를 분석하기 위해 적절한 통계적 방법을 사용하십시오.
• 모든 결과 보고: 선택적 보고를 피하고 부정적 또는 결정적인 결과를 포함하여 모든 결과를 보고하십시오.
• 복제 연구 수행: 자신의 결과를 복제하려 하고 다른 사람도 그렇게 하도록 장려하십시오.
• 보고 가이드라인 따르기: 투명성과 완전성을 보장하기 위해 CONSORT 및 PRISMA와 같은 보고 가이드라인을 준수하십시오.
• 워크숍 및 교육 세션 참석: 연구 방법 및 통계에 대한 지식과 기술을 지속적으로 향상시키십시오.
• 오픈 사이언스 옹호: 기관 및 커뮤니티 내에서 오픈 사이언스 관행을 장려하십시오.

이러한 단계를 통해 연구자는 더욱 신뢰할 수 있고 신뢰할 수 있는 과학적 기업에 기여하고 재현성 위기를 해결하는 데 도움을 줄 수 있습니다.