[김우재의 보통과학자] 과학의 재현성 위기와 보통과학자의 송곳 (2022.03.06)

[김우재의 보통과학자] 과학의 재현성 위기와 보통과학자의 송곳 (daum.net)

[김우재의 보통과학자] 과학의 재현성 위기와 보통과학자의 송곳

[김우재의 보통과학자] 과학의 재현성 위기와 보통과학자의 송곳

2012년 미국 제약사 암젠사의 연구원이던 글렌 베글리는 리 엘리스와 함께 “전임상 암 연구의 기준은 높아져야 한다”라는 제목의 글을 네이처에 기고한다. 베글리 박사는 그동안 전세계 유명 대학과 연구소에서 쏟아져 나온 암에 관한 연구들 대부분이, 엄격한 잣대를 들이댈 경우 신약개발에 사용될 정도의 신뢰를 받기 어렵다고 말한다. 그는 10년간 암젠사에서 암 연구의 책임자로 일했으며, 세계 최고의 연구실에서 최고의 학술지에 발표된 논문 53편을 재현해본 결과, 이 중 47편의 연구가 재현되지 않았다고 폭로했다.

이게 사실이라면 그의 말처럼 정말 놀라운 일이다. 2015년 미국에서 발표된 자료에 의하면, 재현이 불가능한 의생명과학 분야에 낭비된 비용은 280억 달러, 약 30조가 넘는다고 한다. 실로 엄청난 비용이 낭비되고 있는 셈이다.혁명적 연구로 포장되었던 논문들은 도대체 왜 재현되지 않을까? 그리고 우리는 왜 이런 재현되지 않는 연구에 세금을 쏟아붇게 된 것일까?

과학은 심각한 재현성위기를 겪고 있다

과학계에 ‘재현성 위기’에 대한 경고가 등장한지는 오래되었다. 명백하게 논문의 데이터와 실험결과를 조작하는 연구부정과 달리, 현재 대부분의 과학계에서 나타나고 있는 재현성 위기는 연구자 개개인의 연구윤리 차원으로 설명할 수 없는 현대 과학생태계의 구조적 현상이다. 재현성위기가 구조적이라는 사실은, 이 문제가 지속적으로 제기되었음에도 불구하고 수정될 기미가 보이지 않는다는데 있다. 재현성위기는 심리학 분야에서 심각하게 제기되어 왔지만, 최근에는 의생명과학분야, 특히 엄청난 연구비가 투입되는 질병연구분야에서 자주 제기되고 있다. 언론에선 매일 혁명적인 연구결과들이 보도되고 있고, 첨단과학기술분야는 별다른 문제 없이 꾸준히 진보하는 것처럼 보인다. 하지만 과학계의 내부자들은 재현성위기가 그 무엇보다 과학 그 자체의 기반을 흔들고 있다는 점을 점점 더 뚜렷하게 인지하고 있다.

암 생물학 연구만이 아니라 신경퇴행성질환 연구처럼 결국은 임상실험을 거쳐야 하는 질병연구분야에서 재현성위기가 더 심각하게 드러난다. 왜냐하면 이들 질병분야의 연구결과가 신약개발이나 질병치료처럼 확실성이 담보되는 영역에서 철저히 검증될 운명에 놓여 있기 때문이다. 베이글리가 암젠 같은 제약회사에서 수많은 암연구의 재현불가능성을 경험한건 우연이 아니다. 한때 머크에서 오래 근무했던 캐나다의 달하우지대의 조지 로버트슨 교수는 파킨슨병과 같은 신경 퇴행성질환 연구의 대부분이 재현되지 않는다는 사실을 알게 되었고, 바이엘사의 과학자 쿠스루 아사둘라는 신약표적물질이라고 발표된 대부분의 기초과학 논문이 재현되지 않는다는 사실에 진저리를 쳤다.

그는 2011년 네이처에 '믿거나 말거나: 우리는 잠재적 신약 표적에 대한 데이터를 얼마나 신뢰해야 할까?'라는 논문에서, 그의 경험을 공유하며 이렇게 말한다. “우리의 관찰은 잠재적인 약물 표적에 대한 문헌 데이터를 주의 깊게 검토해야 하며, 분석 개발, 고처리량 스크리닝 캠페인, 리드 최적화 및 동물 실험에 더 큰 투자를 하기 전에 제약 회사 및 학계를 위한 확인 검증 연구의 중요성을 강조합니다.” 이제 세계적인 제약회사들은 더이상 유명 대학 연구실의 화려한 연구결과를 무조건 신뢰하지 않는다. 오히려 더 강하게 의심하고 있다.

2015년 조셀린 카이저는 사이언스에 보낸 '암 검사'라는 제목의 편지를 통해, 비영리재단을 통해 수행된 암생물학 분야의 유명 연구 재현 프로젝트를 소개한다. '재현가능성 프로젝트: 암 생물학(RPCB)'이라고 이름 지어진 이 프로젝트는 이미 베이글리에 의해 폭로된 2010년에서 2012년 사이 출판된 암생물학 분야의 가장 많이 인용된 53개의 논문을 검증하는 프로젝트로, 이라이프(eLife)라는 학술지를 통해 지속적으로 업데이트되고 있다. RPCB는 두 가지 목적을 추구한다. 첫째, 전임상 암생물학 연구의 재현가능성에 관한 근거를 제공하고, 둘째, 재현성에 좀 더 일반적으로 영향을 미치는 요소들을 찾아내는 것이다. 2013년 시작된 프로젝트는 7년이 지난 2020년 종료되었으며, 재현성위기에 대한 과학자들의 체계적이고 진지한 대응으로 주목받았다.

재현가능성 프로젝트: 암 생물학의 경우

논문 53편에 수록된 193개의 실험들이 재현가능성 시험대에 놓였다. 프로젝트팀은 각 논문의 교신저자들에게 도움을 청하는 편지를 보냈다. 하지만 68%의 실험들에 관한 데이터는 논문저자들에 의해 제공되지 않았고, 193개의 실험 모두가 완벽한 재현을 위한 정보가 부족한 상태임이 드러났다. 상당수의 논문저자들은 재현에 협조적이었지만, 32%의 실험은 저자들로부터 아무런 대답도 받지 못했다. 재현실험이 시작된 이후, 논문의 실험결과를 재현하는데 드는 시간과 비용이 예상보다 크다는 사실이 드러났고, 연구방법과 실험결과가 더욱 자세히 논문에 수록되어야 한다는 점 역시 드러났다. 출판된 논문만으로는 실험을 완벽하게 재현할 수 없었던 것이다. 현대 과학논문은 지면부족 등의 이유로, 데이터를 재현하기 위해 충분한 정보를 제공하지 않는다.

프로젝트의 참가자들은 논문을 재현하면서 '등록보고서'라는 형식의 출판이 필요하다는 점에 동의했다. 등록보고서란, 논문의 데이터를 발표하기 전에 해당 논문의 데이터를 만들기 위해 사용된 실험방법과 프로토콜 등을 동료평가를 거쳐 수준 높은 형태로 출판하는 방식을 말한다. 즉 임상시험에 직접적으로 사용될 수 있는 중요한 의생명과학 논문의 경우, 등록보고서를 먼저 출판하고, 이후 이 공인보고서를 토대로 수행된 실험데이터로 논문을 출판하는 2단계 출판인 셈이다. 이런 방식으로 논문이 출판될 경우, 연구자들은 해당 논문의 재현성 조건을 투명하게 알 수 있게 된다. 등록보고서는 연구자들이 연구비를 위해 제출하는 연구제안서와 비슷한 형식으로, 이를 바탕으로 연구자들이 출판할 논문을 수행했음을 검증하는 절차를 제공할 수 있다. 

재현가능성 프로젝트의 제안으로 시작된 등록보고서는 현재 300종이 넘는 학술지의 참여로, 의학 학술지의 경우 기본적인 절차로 자리잡아가고 있다. 암생물학이나 질병연구 분야에서 생쥐나 인간세포 등을 이용해 실험을 진행하는 연구자들의 경우, 어쩌면 향후 등록보고서를 제출하는 일이 논문을 발표하는 것보다 어려워질 가능성도 존재한다. 하지만 등록보고서는 국민의 세금으로 질병치료를 위해 투입된 연구자금이 보다 재현가능한 연구를 위해 사용될 수 있게 유도한다. 의생명과학 분야가 응용위주로 편향되어 있는 한국의 연구자들에게도 등록보고서는 곧 마주하게 될 일상이 될 것이다. 한국의 연구재단과 과학기술정보통신부는 이 문제에 얼마나 대비하고 있는지 궁금하다.

공인보고서는 논문의 실험방법을 먼저 공인받아 재현성을 높이는 출판방식이다.  오픈사이언스센터 제공 

7년의 프로젝트가 끝나고 2021년 프로젝트의 결과가 발표되었지만, 그 결과는 혼란스럽다. 2020년까지 프로젝트 진행자들은 23개의 논문에서 50개의 실험을 재현할 수 있었고, 이를 종합해 여러 편의 논문을 발표했다. 프로젝트의 결과를 단순하게 평가하는건 불가능하지만, 이렇게 요약할 수 있다.

① 재현성의 효과 크기는 원본 결과보다 85% 정도 작았다. 즉, 실제 효과 크기보다 원본 논문의 주장이 평균 15% 정도 과장되어 있다는 뜻이다. 즉, 아무리 최고의 학술지에 출판된 유명 연구라 해도, 그 연구결과는 보수적으로 해석되어야 한다.

② 효과가 있다고 보고된 실험결과의 46%는 실패한 것보다 더 많은 기준에서 성공적으로 복제되었다. 이 말은 효과를 보인다고 보고된 실험결과의 절반 정도가 복제되지 않았다는 뜻이다.

③ 원본 논문에서 긍정적이라고 보고된 실험결과들은 효과가 없다고 보고된 실험결과들에 비해 절반 정도 밖에 재현되지 않았다. 즉, 논문에서 중요하게 기술되는 새롭고 놀라운 효과들은, 그 효과를 강조하기 위해 사용된 대조군 실험에 비해 재현될 가능성이 절반에 불과했다는 뜻이다. 

프로젝트를 마무리하면서 이라이프(eLife)의 편집자들은 “암 생물학의 재현가능성: 우리는 무엇을 배웠는가”라는 에세이를 썼다. 이 글에서 그들은 RPCB의 목적이 결코 논문조작이나 연구윤리부정을 찾아내는 것이 아니라, 더 건강한 의생명과학 연구를 위해 필요한 조건들을 찾으려 했다는 점을 강조했다. 하지만 그럼에도 불구하고, 암생물학의 가장 유명한 논문들은 우리가 기대하는 것만큼의 재현성을 결코 보여주지 못했다. 

재현성위기는 지난 세기 빠르게 성장한 과학생태계에 내재한 근본적인 오류를 분명히 노출하고 있다. 예를 들어, 논문에 사용된 연구방법들을 더 자세히 보고하는 일은 분명히 상식적으로 추구되었어야 하지만, 대부분의 학술지는 지면부족이라는 이유로 더 자세한 연구방법의 제시를 가로막아왔다. 재현성위기에 대한 대부분의 학술지 사설과 기사는, 과학자가 연구비와 일자리를 얻기 위해서는 명망 있는 학술지에 논문을 게재해야 한다는 압력에 노출되어 있으며, 갈수록 증가하는 박사학위자에 비해 늘지 않는 일자리가 과학자들이 출판을 위해 무한경쟁하는 생태계를 구축했음을 지적한다. 우리는 이미 과학생태계가 놓인 여러 구조적 문제를 다루면서, 과학계에서 나타나는 상당수의 문제들이 바로 이런 구조적 딜레마에서 비롯된다는 점을 분석했다. 하지만 구조적 위기의 한 축인 학술지가 구조적 위기를 지적하는 것은 모순이며, 아무런 해결책도 되지 못한다.

RPCB는 암생물학의 가장 유명한 53개의 논문의 재현성을 검증하는 프로젝트다. 오픈사이언스센터 홈페이지 캡쳐

 

재현성위기의 구조적 원인과 보통과학자의 송곳

2016년 네이처가 과학자 1576명을 대상으로 실시한 설문조사에서, 52%가 재현성위기의 심각성을 알고 있다고 말했고, 38%는 위기가 존재한다고 말했다. 재현성위기가 존재하지 않는다고 말한 과학자는 7%밖에 되지 않았다. 과학분야별로는 물리학과 화학 분야의 연구자들이 해당 분야의 재현성에 가장 강한 신뢰를 보여주었고, 의학과 생물학은 이보다 낮은 신뢰도를 보였다. 여기서 자세히 거론되지는 않았지만, 재현성위기가 가장 먼저 찾아온 과학분야는 심리학과 사회과학분야였고, 특히 이 분야에서 비롯된 P값 해킹 등의 통계학적 왜곡은, 통계학을 더욱 자주 사용하게 된 의생물학 분야에서도 비슷한 재현성위기를 재현하며, 통계학의 신중한 사용에 대한 경각심을 낳았다.

2017년 의학 저널리스트 리처드 해리스는 《사후경직(Rigor Mortis)》라는 책을 통해, 의생명과학에서 벌어지는 재현성위기가 얼마나 심각하게 퍼져 있는지를 폭로했다. 그는 전세계 암생물학 연구실에서 사용하는 암세포의 18~36%가 엉뚱하게 오염된 세포이며, 엉뚱한 암세포를 사용해 논문을 발표함으로써 낭비된 세금이 7억달러에 이른다고 폭로했다. 동물실험에 자주 사용되는 시약도 오염된 경우가 심각하며, 특히 항체의 경우 60~70%가 저자들의 의도와 다른 결과를 도출할 가능성이 있다. 재현성위기가 심각하다는 것은 최근 10년새에 논문철회수가 열배 이상 증가했다는 데서도 알 수 있다. 리처드 해리스는 ”의학의 발전 속도를 끌어올리려면 생명의학연구는 오히려 속도를 늦춰야 한다. 즉 진행하는 프로젝트 수를 줄이고 하나하나를 좀 더 엄밀히 수행해야 한다”고 제안한다. 

리처드 해리스의 책 《사후경직(Rigor Mortis)》은 의생명과학 분야에 심각하게 퍼진 재현성위기를 폭로한다. 아마존 제공

이런 와중에 2021년에는 “재현이 가능한 논문보다 재현이 불가능한 논문이 더 자주 인용된다”는 제목의 논문이 발표되었다. 경제학자 마르타 세라 가르시아는 이 논문에서 국제학술지에 발표된 과학, 경제학, 심리학 등 각종 논문 2만 252건을 분석해서, 재현이 불가능한 논문이 재현가능한 논문보다 153배나 더 자주 인용된다는 놀라운 사실을 발표했다. 더욱 충격적인 사실은, 네이처나 사이언스처럼 권위 있는 학술지에 실리는 흥미로운 연구결과일 수록 재현할 수 없는 연구일 가능성이 더욱 높다는 것이다. 마르타 세라 가르시아는, 학술지들이 연구 결과가 흥미로울 수록, 재현성에 관해 더 낮은 기준을 적용하는 것처럼 보인다고 말한다. 이런 상황에서 출판에 목숨을 거는 과학자들이 흥미로운 결과를 도출하기 위해 재현성을 왜곡할 것은 불보듯 뻔한 일이다. 

이런 문제가 언론에 노출될 때마다, 전문가들은 구조적 원인을 지적한다. 흥미로운 연구결과에만 집착하는 연구자와 대학 및 학술지의 문제, 논문출판과 실적에 대한 압박과 과학자들의 무한경쟁 등이 거론된다. 현대과학의 구조적인 문제로 인해 재현성위기가 나타난다는 점은 너무나 분명하다. 첫째, 복잡하고 거대해진 현대과학의 속성, 둘째, 논문출판과 연구성과에 대한 인센티브와 압박, 셋째, 동료 과학자에 대한 문제제기 및 비판의 어려움, 넷째, 제대로 이루어지지 않는 동료심사 등이 그 원인이다. 문제는 우리가 재현성위기의 원인을 너무나 잘 알고 있음에도 불구하고, 문제를 해결하지 못하고 있다는데 있다. 심지어 우리는 재현성위기를 극복하는 대안에 대해서도 오래전부터 잘 알고 있었다.

연구재현성 위기의 대안도 너무 잘알려져 있다. 하지만 과연 이런 대안으로 위기를 극복할 수 있을까. 김재호(2021). 연구윤리 측면에서 연구재현성에 대한 논란과 대응/ BRIC View 2021-T35

수많은 학술지들이 연구재현성 확보를 위한 가이드라인을 제공하고 있지만, 만약 재현성위기가 현대과학의 구조적 모순에 의한 결과라면, 이런 조치들은 임시방편일 뿐이다. 마치 누구나 자본주의의 문제를 알면서도 어쩔 수 없이 적응하며 살아가는 것처럼, 재현성위기는 어쩌면 과학자 개개인이 바꿀 수 없는 거대한 벽처럼 연구환경을 둘러싸고 있는 듯 하다. 과학기술정책을 수립하고 연구비를 집행하는 정부와, 과학자들의 화폐나 다름없는 논문을 출판하는 학술지, 그리고 과학자들에게 일자리를 제공하는 대학과 연구소의 삼각동맹이 머리를 맞대고 풀어야 하는 문제이지만, 언제나 그렇듯 이 거대한 삼각동맹은 건강한 과학보다는 정치적이고 경제적으로 삼각동맹에 이익이 되는 한에서만 문제를 해결하려 할 것이다. 

그래서 우리 과학자들은 그들보다 더 현명해야 한다. 대부분의 보통과학자들은 이 거대한 시스템과 맞서 싸울 힘이 없다. 하지만 거대하고 파괴가 불가능해 보이는 시스템에도 반드시 결함은 있다. 그리고 과학자 개개인이 각자의 송곳으로 그 약한 부위를 찔러 시스템에 균열을 내는 일은 충분히 가능하다. 드라마 송곳에서, 노무사 구 소장은 노동자를 위한 그의 싸움이 “선한 약자를 악한 강자로부터 지키는 것이 아니라, 시시한 약자를 위해 시시한 강자와 싸우는 거”라고 말한다. 재현성위기라는 거대한 모순 속에서, 이 상황을 악화시키는 삼각동맹도, 이 문제에 저항하지 못하고 적응해야만 하는 보통과학자도 모두 시시한 시스템의 플레이어일 뿐이다. 하지만 구 소장은 평범했던 이수인 과장 같은 보통사람이 언젠가는 이 거대한 시스템과 싸우는 저항의 상징이 된다는 희망을 말한다. "분명히 하나 쯤은 뚫고 나온다, 다음 한 발이 절벽일지도 모른다는 공포 속에서도 기어이 한 발을 내딛고 마는, 그런 송곳 같은 인간이." 과학연구가 반드시 재현가능해야 함을 윤리적으로 너무나 잘 알고 있으면서도, 경력과 생존의 위기 속에 시스템에 편입될 수 밖에 없는 보통과학자에겐 작은 희망과 승리가 필요하며, 그 작은 승리가 모여 역사가 될 때, 과학자들이 삼각동맹에 맞서 하나의 목소리를 낼 수 있게 될 것이다. 보잘것 없는 초파리 행동연구에서 시작된 그 송곳의 역사를 살펴보도록 하자.

보통과학자가 재현성위기 속에서 할 수 있는 일은 어쩌면 드라마 송속의 이수인 과장과 같은 처지일지 모른다. JTBC제공

※ 참고자료

-오픈사이언스센터 https://www.cos.io/initiatives/registered-reports?hsLang=en

-https://sitn.hms.harvard.edu/flash/2015/reproduce-or-bust-bringing-reproducibility-back-to-center-stage/

-https://www.dongascience.com/news.php?idx=18006

-김재호(2021). 연구윤리 측면에서 연구재현성에 대한 논란과 대응. BRIC View 2021-T35.  https://www.ibric.org/myboard/read.php?Board=report&id=3913 (Nov 02, 2021)

 

글=김우재ㅣ동아사이언스 2022.02.24

※ 필자소개 

김우재 어린 시절부터 꿀벌, 개미 등에 관심이 많았다. 생물학과에 진학했지만 간절히 원하던 동물행동학자의 길을 자의 반 타의 반으로 포기하고 바이러스학을 전공해 박사학위를 받았다. 이후 박사후연구원으로 미국에서 초파리의 행동유전학을 연구했다. 초파리 수컷의 교미시간이 환경에 따라 어떻게 변하는지를 신경회로의 관점에서 연구하고 있다. 모두가 무시하는 이 기초연구가 인간의 시간인지를 이해하는데 도움이 될 것이라고 주장하고 다닌다. 과학자가 되는 새로운 방식의 플랫폼, 타운랩을 준비 중이다. 최근 초파리 유전학자가 바라보는 사회에 대한 책 《플라이룸》을 썼다.

/ 2022.03.06 옮겨 적음