Center for Research Ethics Information
연구윤리 주제

연구윤리 주제

책임있는 연구

책임 있는 연구수행 이란
연구과정에서 연구자가 지켜야 할 연구의 핵심가치들을 준수함으로써 연구 진실성(research integrity) 및
연구윤리를 확보하고, 전문가로서 과학적·사회적 책임을 지키는 것.

1) 정직성(정직한 정보 전달)
2) 정확성(연구결과의 정확한 보고 및 오류 방지)
3) 효율성(현명하고 낭비 없는 자원 이용)
4) 객관성(사실 전달 및 편견의 기피) Keyword : RCR, GRP, 연구윤리, 연구자의 책임, 이해의 충돌, 데이터 관리

재현가능성 위기인가?

복사

http://www.cre.or.kr/article/responsibilities_articles/1389843

재현 가능성 위기인가?

네이쳐지는 서베이를 통해 과학계를 강타하고 있는 ‘위기’와 이의 해결방법에 대한 연구원들의 견해를 살펴보았다. 
                                                                                                                           – 모냐 베이커 –




1,576명 서베이 – 52% : 분명한 위기이다 / 38% : 경미한 위기이다 / 7% : 모른다 / 3% : 위기가 아니다




70% 이상의 연구원들이 다른 연구원의 실험 재현을 시도했지만 실패하였으며 50% 이상은 자신의 연구 재현에도 실패한 것으로 나타났다.
이는 연구 재현가능성에 대한 간략한 온라인 설문에 대한 1,576명의 연구원의 응답을 조사한 네이쳐지의 서베이의 의미 있는 결과로 여겨진다. 본 서베이 결과는 재현가능성에 대한 간혹 모순되는 입장을 보여준다. 52%가 재현가능성에 심각한 ‘위기’가 있다고 대답했음에도 불구하고, 발표된 연구결과의 재현에 실패하는 것이 해당 결과가 잘못된 것이라고 생각하는 응답자는 31% 이하에 머물렀고 다수의 응답자는 발표된 연구물을 신뢰하고 있다고 응답했다. 과학적 연구물이 재현 가능한지에 대해 잘 알려진 조사에서 심리학과는 40%가 ‘거의 재현 가능하지 않다’고 답하였고 암생물학계에서는 10%가 ‘암울하다’고 답했다.
네이쳐지의 서베이 응답자들은 좀 더 긍정적인 태도를 보였다. 73%는 소속 분야의 논문 절반 이상을 신뢰할 수 있다고 응답했으며 물리학과 화학 분야에서도 비슷한 결과를 보였다.
메릴랜드 주 볼티모어 소재 존스홉킨스 블룸버그 학교의 공공보건부 미생물학 알투로 카사드발 박사는 이 결과들이 재현 가능성에 대해 연구원들이 확고한 입장을 취하지 못하고 있음을 보여준다고 언급하며 “현재 재현 가능성이 무엇이며 어떻해야 하는지에 대한 동의가 이뤄지지 않고 있다. 하지만 이를 인지하는 것만으로 일보 전진이 될 것이며 재현 가능성을 둘러싼 문제를 인식하고 이에 합의를 이루는 것이 다음으로 해야 할 일이다”고 말했다. 과학적 재현 가능성에 대해 오랜 기간 관심을 가져온 영국 브리스톡 대학의 생물심리학자 마커스 무나포 박사는 실험 결과의 재현에 실패하는 것은 통과의례라며 “내가 학생 때 논문에서는 간단해 보이는 실험을 재현하려 했지만 실패했다. 자신감에 위기가 왔고 이러한 경험은 일반적인 것이라는 것을 깨달았다”고 밝혔다. 무나포 박사는 이어 “앞으로의 과제는 발간된 논문에 실린 실험의 재현가능성 관련한 문제를 제거하는 것이 아니다. 과학의 최첨단에 있다는 것은 때때로 결과가 확고하지 않을 수 있다는 것을 의미한다. 우리는 너무 많은 허위 유도(false leads) 없이 새로운 것을 발견하길 바란다.”고 덧붙였다.

재현 가능성의 범위
그러나 허위유도로부터 발명을 구별해내는 것은 간단하지 않은 일이다. 본 조사에 응한 다수의 연구원들이 실험의 재현에 실패하였지만 20% 이하의 응답자가 재현에 실패한 다른 연구자로부터 연락 받은 적은 없다고 답했다. (‘A 수치로 본 위기’ 참조) 본 결과는 미국 세포생물학회(American Society for Cell Biology, ASCB)의 회원 900명을 대상으로 한 온라인 서베이의 결과와 높은 유사점을 보인다. (go.nature.com/kbzs2b 참조) 이는 재현 실패에 대한 소통이 쉽지 않기 때문일 것이다. 만약 재현을 시도한 실험자가 도움을 위해 최초 실험자에게 도움을 취한다면 무능력해 보이거나 실험에 의혹을 제기하는 것으로 여겨질 수도 있으며 재현이 필요한 프로젝트에 대한 정보를 너무 많이 노출해야 할 수도 있다. 소수의 응답자가 재현한 실험 논문의 발간을 시도했다고 밝혔다. 실험이 재현되지 않을 경우 연구원들은 대부분 아주 타당한 (그리고 아마도 진부한) 원인이 존재할 것이라고 가정한다. 게다가, 긍정적인 실험 재현에 따르는 보상은 적은 반면 학술지들이 부정적인 결과를 발표하기는 주저한다. 사실, 재현에 실패한 논문을 발표한 다수의 응답자들이 편집자와 심사자들이 최초 실험과의 비교 부분을 줄여줄 것을 요구했다고 밝혔다. 그럼에도 불구하고, 24%의 응답자는 성공적으로 실험 재현에 성공 후 논문개제를 할 수 있었고 13%는 재현 실패 후 논문을 개제했다고 말했다. 승인이 지속적인 거절보다 일반적인 반응이었다: 오직 12%의 응답자만 재현실험의 성공적인 시도를 발표할 수 없었음을 보고했다. 응답자 중 한명인 아브라함 알하마드 연구원(아마릴로 소재 텍사스공대 보건과학센터 Texas Tech University Health Sciences Center)은 줄기세포 기술의 성공을 이루지 못한 데 대한 설명을 다룬 논문을 제출했을 때 “냉정한 거절”을 예상했지만 논문이 받아들여져 기쁘고 놀랐다고 밝혔다. 그가 생각하기로 그의 논문이 제2의 해결책을 제시하였기에 받아들여졌다고 믿는다. 다른 사람들은 재현 시도를 발표할 능력은 운과 끈기, 편집자의 경향 이 세 가지의 조합에 달려있다고 생각한다. 제약개발 컨설턴트인 마이클 아담스 응답자는 동물에게 발병한 당뇨병 모델에 대해 심각한 결함을 보인 연구가 6회 거절당했다며 새로운 제약 타겟을 밝혀내지 못했음이 거절의 원인 중 하나라고 말했다. 또한 대조적으로 샤가스병을 치료할 수 있는 화합물의 효험에 반박한 연구는 신속히 받아들여졌음을 밝혔다.

교정 방법
응답자 중 1/3은 자신들의 연구실이 지난 5년간 재현가능성 개선을 위해 의미 있는 단계를 밟았다고 밝혔다.
해당 응답에 대한 비율은 제약에서 41%로 가장 높았고 물리학과 공학에서 24%로 저조했다.
자유 텍스트 응답은 연구의 재현 혹은 실험실 내 다른 연구원에게 연구 재현을 부탁하는 것은 가장 일반적인 관행이라고 밝혔다.
또한 실험 방법의 문서화나 일반화를 보강하려는 노력도 일반적이라고 나타났다. 이 일들은 매우 쉽지 않은 일인데, 무명을 요구한 영국의 생물화학 석사과정 연구원은 그녀의 연구실에서 진행된 프로젝트를 재현해내려는 노력이 시간과 물질적으로 2배 더 힘든 일이었으며 이는 계속해서 해결되지 않는 문제를 해결하려는 노력에 쓰인 시간도 더해졌다고 밝혔다. 나아가 이 대학원생은 실험을 재현해 내는 것이 결과에 신빙성을 높여주는 것은 사실이지만, 이에 필요한 대가는 혁신적인 프로젝트나 기대치않은 결과에 대한 점검을 하는 것뿐이라고 덧붙였다. 버지니아 대학에서 박사후과정으로 평활근세포를 연구중인 로라 샹크만 박사는 (실험) 방법을 강화하는 것은 그 자체로도 하나의 프로젝트라며 단기간에 다수의 박사후과정, 석사과정 학생들이 연구실을 떠난 후 남은 연구원들은 그들의 실험에서 일정한 결과를 얻는 데 어려움을 겪었다고 밝혔다. 또한 샹크만 박사의 연구실은 개제된 연구를 재현하는 데 필요한 새로운 문제들로부터 일정기간 손을 떼기로 결정하였는데, 이를 통해 그 동안 연구실 프로토콜이 다른 방향으로 흘러가고 있었음을 알 수 있었다고 한다. 박사는 단편적으로 실패한 실험을 해결하는 것 보다 통합적으로 움직이는 것이 지출을 줄일 수 있는 방법이었다며 다만 이는 장기적인 결론이라고 밝혔다. 네브레스카 링컨소재 브라이언컬리지의 보건과학대 수학생물학과 이라클리 롤라즈 박사는 재현가능성 확보를 위한 노력은 연구에 소비되는 시간을, 심지어 이론적 연구의 시간까지도 30%이상 증가시킬 수 있다고 추정했다. 그는 원자료(raw data)부터 최종 수치까지의 모든 과정이 추적가능하다는 것을 확인했다. 그러나 이 모든 작업은 곧 연구의 일부가 된다며 “재현가능성은 칫솔질과 같다. 도움이 되는 일이지만 시간과 노력이 들며 이를 한번 학습하면 습관이 되어버리고 만다.”고 설명했다.
재현가능성을 높이는 잘 알려진 방법 중 하나는 사전등록(Pre-registrations)으로, 연구자들은 실험을 수행하기 전에 제3자에게 데이터 분석에 대한 가정과 계획을 제출하여 편향된 통계적 중요 결과를 도출해내는 것을 피할 수 있다. 수 명의 사람들이 이 전략을 언급했는데, 그 중 한명으로 호주 멜버른대에서 도덕적 결정을 공부하고 있는 한나 왓킨스 대학원생은 “데이터 수집 후 원질문으로 되돌아가는 것은 더 복잡한 과정을 피할 수 있도록 해준다. 이는 시간이 소비되긴 하지만 윤리적 승인을 얻는 것이나 서베이 질문지를 작성하는 것보다 덜 고된일이다. 처음부터 제대로 고안되어 있다면 이는 연구 루틴의 일부일 뿐이다.”고 설명했다.




원인
본 설문은 또한 재현가능성에서 발생하는 문제의 원인에 대해서도 조사했다. 60% 이상의 응답자가 ‘논문 개제 압박과 선택적 보고’ 2개 요소가 항상 혹은 자주 문제가 된다고 말했다. 50% 이상의 응답자는 연구실 내 불충분한 복제, 부적절한 감독, 저조한 통계적 검증력을 원인으로 꼽았다. 이 외 더 적은 수의 응답자가 시약의 가변성이나 복제가 어려운 전문기술의 사용 등을 원인으로 지적했다. “그러나 이러한 요소들은 보조금이나 직위를 향한 경쟁, 혹은 연구를 진행하고 디자인 하는 데 소요되는 시간을 중요하게 생각하지 않는 제도로부터의 압박과 같은 일반적인 요소에 의해 악화됩니다.” 위스콘신대 매디슨캠퍼스에서 개발 생물학을 공부하는 주디스 킴블 박사가 설명했다. “모든 사람들이 점점 더 무리한 일을 시도하고 있습니다. 그리고 이에 소비되는 비용이 연구 하나를 진행하는 비용을 넘어서기도 합니다. 선배가 시간을 내주지 않는 연구실에서 일하는 대학원생은 연구실에서의 교육과 멘토링에 대한 적절한 사례를 정립하지 못하고 본인의 연구실을 열게 될 수도 있으며 이들이 상황을 더 악화시킬 수 있습니다.”




해결책
본 설문은 응답자들에게 재현가능성의 개선에 대한 11가지 방법에 대해 순위를 매겨주기를 요청하였으며 모두 강력한 지지를 얻었다.
90%에 가까운 응답자(1,000명 이상)가 “더욱 확실한 시험 고안”, “더 나은 통계”, “더 나은 멘토십”에 체크했으며 보조금 지급이나 테뉴어에 대한 가산점 등과 같은 인센티브 지급’과 같은 선택지보다 더 높은 순위를 얻었다. 그러나 가장 낮은 순위를 기록한 ‘저널 체크리스트’와 같은 선택지도 69%라는 높은 지지를 얻었다.



본 설문은 네이처지 독자들에게 보낸 이메일과 협력 웹사이트 및 소셜미디어에 ‘재현성에 대하여’라는 제목으로 개제된 광고를 통해 이루어져 재현성에 대한 우려를 수용 및 인지하고 있는 응답자들이 선별되었을 것으로 보인다.
그럼에도 불구하고, 본 결과는 재현성 문제 해결을 지지하는 학술지나 후원사, 연구기관 등이 협력을 이뤄야 한다는 것을 제시한다. 캘리포니아의 스탠포드대학에서 과학적 확신(scientific robustness)을 연구중인 존 이오니디스는 “연구자들은 이러한 계획을 반길 것이다”고 말했다.
약 80%의 응답자가 후원사와 출판사가 재현성 향상을 위해 더 노력해야 한다고 답했다. 뮤나포 박사는 “연구자들이 재현성 문제를 인지하고 개선을 위한 간단한 방법들에 동의한다는 것은 긍정적이다.
이러한 아이디어들이 주류 미디어에서까지 광범위하게 논의되고 있다는 것을 고려해볼 때 관련 계획들을 저지하는 것은 중대한 일일 수 있다.
만약 우리가 나서지 않으면 이 순간은 지나갈 것이며 사람들은 앞으로 무언가 해야한다는 소리를 지겨워할 것이다” 고 덧붙였다.



원본출처: https://www.nature.com/news/1.19970

첨부파일 PDF파일 nature -재현성.pdf
작성자 CRE 등록일 2019-11-06 17:18
출처 Nature 연도 2019
링크 https://www.nature.com/news/1.19970
LIST : 25건/25건RSS FEED
본 게시판은 관리자 외에 게시물 등록이 불가능 합니다.
글쓰기