작성자 CRE 댓글 0 건 조회 862 회 작성일 20-03-30 19:51

동료심사를 위한 데이터 공유 방식의 새로운 발견

 

술지와 연구비 지원자, 연구자 모두

동료심사 연구를 위한 인프라를 구축하는 데 힘을 모아야 할 것

 

동료심사는 학문적 의사소통의 핵심 요소다. 201811,000명 이상의 연구자를 대상으로 한 조사에서 98%의 응답자가 학문적 의사소통의 수준과 진실성을 확고히 하는 데 있어 동료심사를 중요하게 혹은 아주 중요하게 여긴다고 답했다. 실제로, 인터넷과 SNS가 학술지의 본래 역할인 전파를 대신하고 있는 현실에서 학술지의 주요 기능은 큐레이션(curation, 본문에서는 주로 논문의 선별 역할을 의미)’이다.

대중과 과학계 모두 동료심사가 논문 게재를 개선하고 부족하거나 잘못된 논문들을 걸러냄으로써 엄격함, 윤리, 독창성, 분석 등의 공유 가치를 지지한다고 믿는다. 학문적 의사소통은 상식과 신뢰를 정립하는 데 있어 동료심사에 의존하는 것이다.

동료심사에 대한 연구가 필요하다는 요구가 몇 십 년 동안 있어왔음에도 불구하고 연구된 바는 거의 없다. 최근의 연구들도 단편적인 것들로, 연구자들이 서로의 연구를 거의 참조하지 않아 서로 간에 연계성도 없고 지식의 공유도 부족하다. 매우 정확한 연구는 보통 같은 분야 내에서 일반적으로 연구 하나 당 한 개 혹은 수개의 학술지로 제한되는데, 학술지들이 이 과정(심사위원의 선별과 선택 및 보수, 충돌하는 심사의견들의 관리, 심사위원 보고서의 출판 등)을 어떻게 관리하는지, 개별 심사 내용의 수준과 사용을 어떻게 결정할 것인지, 동료심사를 어떻게 평가할 것인지(누가, 어떻게, 왜 참여했는지 등) 등에 대한 체계적인 연구가 부족하다. 또한 다른 학술지 혹은 다른 학계의 저자들과 심사위원들의 반응을 비교할 방법도 없다.

이 주제에 대한 연구는 부분적으로만 진행 중인데, 연구가 힘들기 때문이다. 심사 과정에 대한 데이터에 접근하는 것은 매우 어려운 일이다. 보통 학술지 내 인맥에 의존하거나 보편화가 어려운 극소수의 타이틀에 제한되어 있다. 따라서 제대로 된 보조금도 거의 없다. 그러나 어떤 동료심사 모델과 어떠한 수행 방식이 연구 진실성과 신뢰성을 높일 수 있을지를 결정하기 위해서는 더 높은 투명성과 연구가 필요할 것이다.

우리는 이 지면을 통해 동료심사에 대한 광범위하고 체계적인 연구를 격려하기 위한 파일럿 프로젝트를 소개하고 이를 통해 무엇을 이루길 바라는지를 설명한다.

 

동료심사에 대한 탐색

 

연구자들이 동료심사에 대한 학술지 데이터에 접근할 때 깊은 깨달음에 대한 희망을 가질 가능성이 있다. 예를 들어, 미시건 대학의 미샤 테플릿스키 사회학 박사와 그의 동료들은 비밀리에 학술지 PLoS ONE에 제출된 7,982개의 신경과학 논문의 심사위원의 개인정보를 입수하여 심사위원과 저자, 편집자로 이뤄진 공동 게재 네트워크를 만들었다. 그들은 심사위원들이 공동저자 혹은 전문가 네트워크를 통해 그들과 관련이 된 저자들을 선호하는 경향이 있다는 사실을 발견했다.

학술지 ‘Functional Ecology’의 데이터는 양적으로 저자의 추천을 받은 심사위원을 섭외하는 것은 편집 결정에 편견을 초래할 수 있음을 시사했다. Elsevier 학술지로부터 입수한 5개의 심사위원 보고서 내 집필 스타일과 추천란의 분석에 따르면 공개 동료심사가 더 객관적이고 건설적인 논평을 선호했다. 그러나 이 중 오직 8.1%의 심사위원만이 개인정보 공개에 동의하였는데, 이는 대부분 그들의 추천이 긍정적일 때였다. 또한 Elsevier의 애널리스트들은 지난해 그들 작업물의 인용을 유도하기 위해 동료심사를 이용한 심사위원들과 편집자를 적발했다(네이처지 http://doi.org/gf7zjm;2019 참조).

양적 및 질적 연구 모두를 수행하는 학제 간 교류는 어떠한 심사 모델이 (일방향 익명, 양방향 익명, 심사 발표/미발표, 심사위원 미공개/공개) 어떠한 상황에서 어떤 이유로 최고의 효과를 이끌어 낼 지를 이해하는데 매우 중요할 것이다. 예를 들어, 상이한 동료심사 유형에 따른, 혹은 과정 내에서 변화의 전과 후에 따른 심사위원들의 태도를 자세히 살펴보는 연구는 양방향 익명 심사(인류학과 사회과학에서 주로 사용됨)가 단순한 관습인지, 혹은 전관예우를 피하기 위한 유용한 방법인지를 알아볼 수 있을 것이다. 이러한 연구의 결과는 학술지들이 적절치 않은 경우에까지 모든 심사에 획일화된 방법론을 취하는 것을 막고 저자와 심사위원에게 도움이 될 수 있도록 동료심사 과정을 적절히 맞출 방법을 제안할 수도 있을 것이다.

심사위원 보고서를 살펴보는 것만으로 해결할 수 없는 학술지의 수준에 대한 질문은 많이 존재한다. 몇몇 경우에 학술지들은 내부적인 실험을 수행하기 위한 방안을 취해야만 한다. 1999년에 학술지 ‘British Medical Journal’은 심사위원의 이름을 개제하는 것이 심사의 질에 영향을 미치는지 알아보기 위하여 무작위 실험을 수행했다. 2014, Elsevier는 비공개 동료심사에서 공개 동료심사로 전환한 다섯 개 학술지에 대해 실험을 했다. 학술지 ‘Nature Research’ 또한 심사 보고서의 발표의 영향을 연구하는 중이다. 또 다른 경우에, 논문 그 자체에서 관련된 데이터를 찾을 수도 있다. 예를 들어 동물과 인간 연구의 핵심 실험 요소가 포함되었는지, 이 실험 요소들이 사전 등록된 것과 일치하는지 등의 데이터이다.

그러나, 동료심사에 대한 체계적인 연구는 매우 중요한 질문들에 답을 줄 수 있을 것이다. 예를 들어 언제, 어디서 동료심사의 가치가 가장 빛나는지 (수준 낮은 논문을 걸러낼 때인지, 평범한 논문을 개선할 때인지 아니면 필요한 경고나 문맥을 더해야 할 때인지) 에 대한 답을 줄 수 있다. 또한 언제, 왜 편집 결정이 저자의 명성에 비해 논문의 수준에 근거하여 내려졌는지를 밝히는 데도 도움이 될 수 있다. 다시 말해, 논문의 수준과 엄격함, 그리고 진실성을 평가하는 도구의 개발에 도움을 줄 수 있다는 의미다. 저자와 편집자, 심사위원 모두 이 방안을 개별 논문의 평가에 사용할 수도 있을 것이며 출판사와 과학 관련 학회 및 기타 기관들은 그들의 심사 과정을 개선하는데 이 방안을 유용할 수 있을 것이다. 특히 광범위하고 다양한 출처로부터 증거를 찾아낼 수 있다면 이 방안은 가장 효과적으로 쓰일 것이다.

 

수집과 협력

 

우리가 상상으로 그려내는 데이터를 축적한다는 것은 꿈같은 일일 것이다. 동료심사 과정은 출판사마다 매우 다르며 같은 학술지 내에서도 독특한 차이점을 가지기도 한다. 그럼에도 불구하고 데이터 공유와 협력은 현재 학문적 출판 밖의 전혀 다른 영역 사이에서 이뤄지고 있다. 제약회사와 다른 연구 기관들이 Vivil 혹은 YODA와 같은 플랫폼을 통해 의학적 데이터를 모으며 의약품 발명 데이터를 Open Targets를 통해 모은다. 예를 들어, 통신과 물류, IT 계열의 50여 개 유럽 회사들은 보행자들이 공항을 좀 더 신속하게 통과할 수 있도록, 혹은 물건을 더 효율적으로 이송할 수 있도록 하기 위해 데이터를 공유한다. 캐나다 토론토에서 시작한 비영리단체인 세계 유전학 보건 연대(Global Alliance for Genomics and Health)는 책임 있고 자발적인 유전학 데이터 공유를 위한 체계와 기준을 만들었다.

학문적 출판에 있어서의 수많은 디지털 혁신들이 동료심사 연구에 적용될 수 있다. ORCID (연구자 개개인에게 개별 식별자를 제공하는)Crossref (예를 들어 인용과 데이터 세트, 개별 출판물에 링크를 걸 수 있도록 하는)가 심사위원과 저자, 학문적 연구물의 구별에 도움을 줄 수 있으며 나아가 더욱 엄격한 분석을 가능하게 할 수 있다. 서로 다른 출판사와 견본 인쇄물 사이에 논문과 심사의 교류를 위한 체계인 논문 교류 일반 접근(The Manuscript Exchange Common Approach)’은 각기 다른 동료심사 관리 시스템으로부터 나온 데이터베이스를 만들어 낼 수 있는 실행 가능성을 보여준다. WileySage 외 다수 출판사가 사용하는 Scholar One ManuscriptsSpringer NatureElsevier 외 다수가 사용하는 Editorial Manager가 이에 해당한다.

그러나 큰 장애물이 여전히 남아있다. 사설 및 비영리 출판사 모두 그들의 작업을 보여주는 것에 위험이 따른다고 여기는데, 특히 기밀유지가 그 이유이다. 논문 당 심사위원의 수, 수락한 심사 요청의 비율을 비롯하여 기타 기밀유지 규칙을 침해하지 않을 데이터들의 공유에 대한 체계가 없다는 것이다.

 

공유를 위한 전략

 

2014, 한 무리의 과학 및 기술 학자들과 출판 전문가들, 연구비 지원자들이 (이 논평의 저자들도 다수 여기에 포함된다) 모여 COST(the European Cooperation in Science and Technology, 과학 기술 유럽 연합)의 지원을 받는 PEERE라는 이름의 유럽 연합 프로젝트 산하 협업체를 형성했다. 우리는 많은 분야를 아우르는 많은 학술지가 포함된 광범위한 연구를 가능하게 하고 싶었다. 2017년 우리는 동료심사 과정에서 데이터 공유에 대한 PEERE 프로토콜을 발표했다 (go.nature.com/2vbkc7m 참조). 이 프로토콜은 윤리, 책임 있는 관리, 데이터 보호와 사생활에 대한 내용으로, ‘일반 데이터 보호 규정(General Data Protection Regulation, ‘Peer-review data’ 참조)’을 포함하는 현재의 EU 법적 체계에 맞춰 만들어졌다.

이후에 우리는 150개 이상의 학술지를 아우르도록 크기를 키운 일련의 데이터 공유 방안을 시범 운영하였다(학술지 이름은 익명으로 하여 그 리스트는 여기에서 밝히지 않는다). 출판사들에는 Elsevier, the Royal Society, Springer Nature, Wiley가 포함된다. PEERE 컴퓨터 과학자들은 ScholarOneEditorial Manager의 기술 스태프와 공조하여 공동 메타데이터 세트를 고안하고 연구를 위한 사용 준비가 된 데이터를 저장할 수 있도록 하였다. 예를 들어 우리는 출판사와 학술지의 이름과 같은 요소들을 익명으로 처리하는 방식을 개발했다. 저자와 심사위원, 편집자의 이름은 익명으로 하되 샘플을 통해 일관적인 식별자를 부여하였다. 보고서의 텍스트들은 자연언어 컴퓨터 처리 기술과 기타 분석 정보에 접근할 수 있는 숨겨진 키가 함께 기계가 읽을 수 있는 부호의 리스트로 재암호화 되었다.

이는 동료심사에 대한 체계적인 연구를 가능하게 하는 광범위한 데이터 공유 인프라를 위해 기술적 기반을 닦을 수 있게 해준다. 다음으로, 우리는 데이터 공유에 대한 청사진과 일반 데이터 보호 규정들과 기타 윤리적 관리 원칙들을 따르는 개념증명 인프라를 의뢰할 필요가 있다. 우리는 데이터 시스템들이 상호간에 작동할 수 있고 이 데이터를 사용하는 사람들이 선점된 정보에 접근하지 못하도록 하는 방법을 만들어 냈으며 사용자들이 윤리적인 절차를 따르도록 하였다. 우리는 올해 3월 중순에 스페인 바르셀로나에서 열리는 PEERE 컨퍼런스에서 학자들과 더 폭넓은 계획을 논의할 수 있기를 바란다.

 

프로토콜 파워

 

이 모든 것을 가능하게하기 위해서는 책임과 믿을 수 있는 기금이 필요할 것이다. 공공기관과 독립 재단들은 일찍이 연구를 개선하기 위한 연구는 투자임을 인지하여 Open Science Framework, the Research on Research Institute와 같은 계획들을 지원하고 있다. 소규모의, 영세 출판사들 (몇몇 분야에서는 주요 학술지를 출판하는) 은 아마도 여전히 매뉴얼 시스템에 의존하고 있을 것이므로 참여를 위한 도움이나 시스템을 점검하기 위한 도움이 필요할 것이다.

학문적 기록의 관리자로서 출판사들과 독립 학술지, 학회들은 청사진 개발에 참여하고 물물교환 형식의 투자를 통해 (예를 들어 IT 스태프의 시간) 지원을 제공해야 한다. 그들은 또한 기밀유지 문화나 문제가 들끓는, 하지만 눈가리고 아웅식의 해결책만 찾는 콘텐츠 관리 시스템 등 데이터 공유에 방해가 되는 장애물들을 제거하기 위해 노력해야 한다. 공공 기관들은 데이터 공유 인프라를 위한 독립적이고 대표적인 거버넌스 그룹의 형성을 지원해야 한다.

이상적인 상황에서, 연구자들은 윤리 계약에만 사인하고 필요한 데이터 유형을 상세히 설명하는 요청서만 제출하며 우리의 인프라에 그들의 데이터 분석 스크립트를 운용하든지 수준 있는 연구를 위한 자료를 입수할 필요가 있다. 우리의 시스템은 하나의 학술지에서 데이터를 차출하거나 개별 연구자를 식별해내는 것을 막기 위해 고안되었다.

이 인프라는 사적인 이익을 뿌리 깊게 하는 자원이 아닌 공공재로 여겨질 필요가 있다. 물론, 이 시스템은 책임 있는 데이터 관리와 기밀유지, 신뢰성에 대한 주주들의 요구를 고려해야 할 것이다. 일단 시행되면 연구에 대한 연구로의 접근은 매우 광범위해질 것이다. 학자들은 데이터 공유에 대한 개별 계약 협의를 할 필요가 없거나 학술지 편집자나 출판사와 직접적으로 연계할 수 있을 것이다.

출판사들 또한 데이터를 익명화하고 관리하기 위한 공통 프로토콜에 의존하여 비용을 절감하고 평판과 관련한 위험을 줄일 수 있을 것이다. 실제로, 동료심사에 대한 데이터의 공유에 대한 동의는 약탈적 학술지들에 의한 피해가 증가하는 세상에서 적법성에 대한 확실한 표식이 되어 줄 것이다. 데이터와 학술지의 관리와 심사위원과 편집자의 교육, 자격입증, 신뢰에 대한 기준을 뒷받침하는 작업을 상상하는 것이 어렵지 않을 것이다. 앞으로 해야 할 일이 많지만, 동료심사에 대한 연구를 지원하는 것은 저자와 심사위원, 편집자 모두를 위한 더 나은 프로세스를 만드는 일임을 약속한다. 더 중요하게, 이는 신뢰와 엄격함, 과학적 저서의 타당성을 높일 것이다. 모두가 혜택을 받을 것이다.

 

동료심사 데이터

PEERE는 동료심사 과정의 데이터 공유에 대한 프로토콜을 가지고 있다 (go.nature.com/2vbkc7m). 제출된 논문에 각각에 대한 정보는 (본 지면에 4개 카테고리로 나눠 제공됨) 익명 처리 되었으며 PEERE 인프라 내에서 정리되고 보호되고 동료심사에 대한 연구를 하는 연구자들이 사용할 수 있다.

 

논문

저자 특성(숫자, 성별, 국가, 경력(직급)). 데이터는 이름이 아닌 식별자로 구별되어 저장됨.

편집 결정(수락, 거절)

제출된 논문의 텍스트(기계 해독만 가능하도록 재암호화 됨)

발표된 논문의 텍스트

인식 지표 (인용, Almetrics(Alternative metrics))

 

학술지

분야

영향 요소. 범위는 특정 학술지나 논문 식별을 불가하도록 사용됨

연간 제출 숫자

거절률

 

심사 과정

편집자 특성(성별, 숫자). 데이터는 이름이 아닌 식별자로 구별되어 저장됨.

제출 날짜

편집자와 심사위원의 결정을 위해 요구되는 시간

익명 처리 유형

초대된 심사위원 및 실제 참여한 심사위원 숫자

수정 횟수

 

심사위원 보고서

심사위원 특성(숫자, 성별, 국가, 경력). 데이터는 이름이 아닌 식별자로 구별되어 저장됨.

심사위원 점수 및 추천(거절, 적은 혹은 많은 수정을 포함하여 수락)

심사위원 사이의 동의

보고서의 길이와 텍스트 (기계 해독만 가능하도록 재암호화 됨)

공개 정도(보고서 혹은 심사위원 정보를 공개할 것인지).

 

출처: https://www.nature.com/articles/d41586-020-00500-y

2020316일 검색 

등록된 댓글이 없습니다.

동료심사를 위한 데이터 공유 방식의 새로운 발견

  • 작성일 20-03-30 19:51
  • 조회 862

동료심사를 위한 데이터 공유 방식의 새로운 발견

 

술지와 연구비 지원자, 연구자 모두

동료심사 연구를 위한 인프라를 구축하는 데 힘을 모아야 할 것

 

동료심사는 학문적 의사소통의 핵심 요소다. 201811,000명 이상의 연구자를 대상으로 한 조사에서 98%의 응답자가 학문적 의사소통의 수준과 진실성을 확고히 하는 데 있어 동료심사를 중요하게 혹은 아주 중요하게 여긴다고 답했다. 실제로, 인터넷과 SNS가 학술지의 본래 역할인 전파를 대신하고 있는 현실에서 학술지의 주요 기능은 큐레이션(curation, 본문에서는 주로 논문의 선별 역할을 의미)’이다.

대중과 과학계 모두 동료심사가 논문 게재를 개선하고 부족하거나 잘못된 논문들을 걸러냄으로써 엄격함, 윤리, 독창성, 분석 등의 공유 가치를 지지한다고 믿는다. 학문적 의사소통은 상식과 신뢰를 정립하는 데 있어 동료심사에 의존하는 것이다.

동료심사에 대한 연구가 필요하다는 요구가 몇 십 년 동안 있어왔음에도 불구하고 연구된 바는 거의 없다. 최근의 연구들도 단편적인 것들로, 연구자들이 서로의 연구를 거의 참조하지 않아 서로 간에 연계성도 없고 지식의 공유도 부족하다. 매우 정확한 연구는 보통 같은 분야 내에서 일반적으로 연구 하나 당 한 개 혹은 수개의 학술지로 제한되는데, 학술지들이 이 과정(심사위원의 선별과 선택 및 보수, 충돌하는 심사의견들의 관리, 심사위원 보고서의 출판 등)을 어떻게 관리하는지, 개별 심사 내용의 수준과 사용을 어떻게 결정할 것인지, 동료심사를 어떻게 평가할 것인지(누가, 어떻게, 왜 참여했는지 등) 등에 대한 체계적인 연구가 부족하다. 또한 다른 학술지 혹은 다른 학계의 저자들과 심사위원들의 반응을 비교할 방법도 없다.

이 주제에 대한 연구는 부분적으로만 진행 중인데, 연구가 힘들기 때문이다. 심사 과정에 대한 데이터에 접근하는 것은 매우 어려운 일이다. 보통 학술지 내 인맥에 의존하거나 보편화가 어려운 극소수의 타이틀에 제한되어 있다. 따라서 제대로 된 보조금도 거의 없다. 그러나 어떤 동료심사 모델과 어떠한 수행 방식이 연구 진실성과 신뢰성을 높일 수 있을지를 결정하기 위해서는 더 높은 투명성과 연구가 필요할 것이다.

우리는 이 지면을 통해 동료심사에 대한 광범위하고 체계적인 연구를 격려하기 위한 파일럿 프로젝트를 소개하고 이를 통해 무엇을 이루길 바라는지를 설명한다.

 

동료심사에 대한 탐색

 

연구자들이 동료심사에 대한 학술지 데이터에 접근할 때 깊은 깨달음에 대한 희망을 가질 가능성이 있다. 예를 들어, 미시건 대학의 미샤 테플릿스키 사회학 박사와 그의 동료들은 비밀리에 학술지 PLoS ONE에 제출된 7,982개의 신경과학 논문의 심사위원의 개인정보를 입수하여 심사위원과 저자, 편집자로 이뤄진 공동 게재 네트워크를 만들었다. 그들은 심사위원들이 공동저자 혹은 전문가 네트워크를 통해 그들과 관련이 된 저자들을 선호하는 경향이 있다는 사실을 발견했다.

학술지 ‘Functional Ecology’의 데이터는 양적으로 저자의 추천을 받은 심사위원을 섭외하는 것은 편집 결정에 편견을 초래할 수 있음을 시사했다. Elsevier 학술지로부터 입수한 5개의 심사위원 보고서 내 집필 스타일과 추천란의 분석에 따르면 공개 동료심사가 더 객관적이고 건설적인 논평을 선호했다. 그러나 이 중 오직 8.1%의 심사위원만이 개인정보 공개에 동의하였는데, 이는 대부분 그들의 추천이 긍정적일 때였다. 또한 Elsevier의 애널리스트들은 지난해 그들 작업물의 인용을 유도하기 위해 동료심사를 이용한 심사위원들과 편집자를 적발했다(네이처지 http://doi.org/gf7zjm;2019 참조).

양적 및 질적 연구 모두를 수행하는 학제 간 교류는 어떠한 심사 모델이 (일방향 익명, 양방향 익명, 심사 발표/미발표, 심사위원 미공개/공개) 어떠한 상황에서 어떤 이유로 최고의 효과를 이끌어 낼 지를 이해하는데 매우 중요할 것이다. 예를 들어, 상이한 동료심사 유형에 따른, 혹은 과정 내에서 변화의 전과 후에 따른 심사위원들의 태도를 자세히 살펴보는 연구는 양방향 익명 심사(인류학과 사회과학에서 주로 사용됨)가 단순한 관습인지, 혹은 전관예우를 피하기 위한 유용한 방법인지를 알아볼 수 있을 것이다. 이러한 연구의 결과는 학술지들이 적절치 않은 경우에까지 모든 심사에 획일화된 방법론을 취하는 것을 막고 저자와 심사위원에게 도움이 될 수 있도록 동료심사 과정을 적절히 맞출 방법을 제안할 수도 있을 것이다.

심사위원 보고서를 살펴보는 것만으로 해결할 수 없는 학술지의 수준에 대한 질문은 많이 존재한다. 몇몇 경우에 학술지들은 내부적인 실험을 수행하기 위한 방안을 취해야만 한다. 1999년에 학술지 ‘British Medical Journal’은 심사위원의 이름을 개제하는 것이 심사의 질에 영향을 미치는지 알아보기 위하여 무작위 실험을 수행했다. 2014, Elsevier는 비공개 동료심사에서 공개 동료심사로 전환한 다섯 개 학술지에 대해 실험을 했다. 학술지 ‘Nature Research’ 또한 심사 보고서의 발표의 영향을 연구하는 중이다. 또 다른 경우에, 논문 그 자체에서 관련된 데이터를 찾을 수도 있다. 예를 들어 동물과 인간 연구의 핵심 실험 요소가 포함되었는지, 이 실험 요소들이 사전 등록된 것과 일치하는지 등의 데이터이다.

그러나, 동료심사에 대한 체계적인 연구는 매우 중요한 질문들에 답을 줄 수 있을 것이다. 예를 들어 언제, 어디서 동료심사의 가치가 가장 빛나는지 (수준 낮은 논문을 걸러낼 때인지, 평범한 논문을 개선할 때인지 아니면 필요한 경고나 문맥을 더해야 할 때인지) 에 대한 답을 줄 수 있다. 또한 언제, 왜 편집 결정이 저자의 명성에 비해 논문의 수준에 근거하여 내려졌는지를 밝히는 데도 도움이 될 수 있다. 다시 말해, 논문의 수준과 엄격함, 그리고 진실성을 평가하는 도구의 개발에 도움을 줄 수 있다는 의미다. 저자와 편집자, 심사위원 모두 이 방안을 개별 논문의 평가에 사용할 수도 있을 것이며 출판사와 과학 관련 학회 및 기타 기관들은 그들의 심사 과정을 개선하는데 이 방안을 유용할 수 있을 것이다. 특히 광범위하고 다양한 출처로부터 증거를 찾아낼 수 있다면 이 방안은 가장 효과적으로 쓰일 것이다.

 

수집과 협력

 

우리가 상상으로 그려내는 데이터를 축적한다는 것은 꿈같은 일일 것이다. 동료심사 과정은 출판사마다 매우 다르며 같은 학술지 내에서도 독특한 차이점을 가지기도 한다. 그럼에도 불구하고 데이터 공유와 협력은 현재 학문적 출판 밖의 전혀 다른 영역 사이에서 이뤄지고 있다. 제약회사와 다른 연구 기관들이 Vivil 혹은 YODA와 같은 플랫폼을 통해 의학적 데이터를 모으며 의약품 발명 데이터를 Open Targets를 통해 모은다. 예를 들어, 통신과 물류, IT 계열의 50여 개 유럽 회사들은 보행자들이 공항을 좀 더 신속하게 통과할 수 있도록, 혹은 물건을 더 효율적으로 이송할 수 있도록 하기 위해 데이터를 공유한다. 캐나다 토론토에서 시작한 비영리단체인 세계 유전학 보건 연대(Global Alliance for Genomics and Health)는 책임 있고 자발적인 유전학 데이터 공유를 위한 체계와 기준을 만들었다.

학문적 출판에 있어서의 수많은 디지털 혁신들이 동료심사 연구에 적용될 수 있다. ORCID (연구자 개개인에게 개별 식별자를 제공하는)Crossref (예를 들어 인용과 데이터 세트, 개별 출판물에 링크를 걸 수 있도록 하는)가 심사위원과 저자, 학문적 연구물의 구별에 도움을 줄 수 있으며 나아가 더욱 엄격한 분석을 가능하게 할 수 있다. 서로 다른 출판사와 견본 인쇄물 사이에 논문과 심사의 교류를 위한 체계인 논문 교류 일반 접근(The Manuscript Exchange Common Approach)’은 각기 다른 동료심사 관리 시스템으로부터 나온 데이터베이스를 만들어 낼 수 있는 실행 가능성을 보여준다. WileySage 외 다수 출판사가 사용하는 Scholar One ManuscriptsSpringer NatureElsevier 외 다수가 사용하는 Editorial Manager가 이에 해당한다.

그러나 큰 장애물이 여전히 남아있다. 사설 및 비영리 출판사 모두 그들의 작업을 보여주는 것에 위험이 따른다고 여기는데, 특히 기밀유지가 그 이유이다. 논문 당 심사위원의 수, 수락한 심사 요청의 비율을 비롯하여 기타 기밀유지 규칙을 침해하지 않을 데이터들의 공유에 대한 체계가 없다는 것이다.

 

공유를 위한 전략

 

2014, 한 무리의 과학 및 기술 학자들과 출판 전문가들, 연구비 지원자들이 (이 논평의 저자들도 다수 여기에 포함된다) 모여 COST(the European Cooperation in Science and Technology, 과학 기술 유럽 연합)의 지원을 받는 PEERE라는 이름의 유럽 연합 프로젝트 산하 협업체를 형성했다. 우리는 많은 분야를 아우르는 많은 학술지가 포함된 광범위한 연구를 가능하게 하고 싶었다. 2017년 우리는 동료심사 과정에서 데이터 공유에 대한 PEERE 프로토콜을 발표했다 (go.nature.com/2vbkc7m 참조). 이 프로토콜은 윤리, 책임 있는 관리, 데이터 보호와 사생활에 대한 내용으로, ‘일반 데이터 보호 규정(General Data Protection Regulation, ‘Peer-review data’ 참조)’을 포함하는 현재의 EU 법적 체계에 맞춰 만들어졌다.

이후에 우리는 150개 이상의 학술지를 아우르도록 크기를 키운 일련의 데이터 공유 방안을 시범 운영하였다(학술지 이름은 익명으로 하여 그 리스트는 여기에서 밝히지 않는다). 출판사들에는 Elsevier, the Royal Society, Springer Nature, Wiley가 포함된다. PEERE 컴퓨터 과학자들은 ScholarOneEditorial Manager의 기술 스태프와 공조하여 공동 메타데이터 세트를 고안하고 연구를 위한 사용 준비가 된 데이터를 저장할 수 있도록 하였다. 예를 들어 우리는 출판사와 학술지의 이름과 같은 요소들을 익명으로 처리하는 방식을 개발했다. 저자와 심사위원, 편집자의 이름은 익명으로 하되 샘플을 통해 일관적인 식별자를 부여하였다. 보고서의 텍스트들은 자연언어 컴퓨터 처리 기술과 기타 분석 정보에 접근할 수 있는 숨겨진 키가 함께 기계가 읽을 수 있는 부호의 리스트로 재암호화 되었다.

이는 동료심사에 대한 체계적인 연구를 가능하게 하는 광범위한 데이터 공유 인프라를 위해 기술적 기반을 닦을 수 있게 해준다. 다음으로, 우리는 데이터 공유에 대한 청사진과 일반 데이터 보호 규정들과 기타 윤리적 관리 원칙들을 따르는 개념증명 인프라를 의뢰할 필요가 있다. 우리는 데이터 시스템들이 상호간에 작동할 수 있고 이 데이터를 사용하는 사람들이 선점된 정보에 접근하지 못하도록 하는 방법을 만들어 냈으며 사용자들이 윤리적인 절차를 따르도록 하였다. 우리는 올해 3월 중순에 스페인 바르셀로나에서 열리는 PEERE 컨퍼런스에서 학자들과 더 폭넓은 계획을 논의할 수 있기를 바란다.

 

프로토콜 파워

 

이 모든 것을 가능하게하기 위해서는 책임과 믿을 수 있는 기금이 필요할 것이다. 공공기관과 독립 재단들은 일찍이 연구를 개선하기 위한 연구는 투자임을 인지하여 Open Science Framework, the Research on Research Institute와 같은 계획들을 지원하고 있다. 소규모의, 영세 출판사들 (몇몇 분야에서는 주요 학술지를 출판하는) 은 아마도 여전히 매뉴얼 시스템에 의존하고 있을 것이므로 참여를 위한 도움이나 시스템을 점검하기 위한 도움이 필요할 것이다.

학문적 기록의 관리자로서 출판사들과 독립 학술지, 학회들은 청사진 개발에 참여하고 물물교환 형식의 투자를 통해 (예를 들어 IT 스태프의 시간) 지원을 제공해야 한다. 그들은 또한 기밀유지 문화나 문제가 들끓는, 하지만 눈가리고 아웅식의 해결책만 찾는 콘텐츠 관리 시스템 등 데이터 공유에 방해가 되는 장애물들을 제거하기 위해 노력해야 한다. 공공 기관들은 데이터 공유 인프라를 위한 독립적이고 대표적인 거버넌스 그룹의 형성을 지원해야 한다.

이상적인 상황에서, 연구자들은 윤리 계약에만 사인하고 필요한 데이터 유형을 상세히 설명하는 요청서만 제출하며 우리의 인프라에 그들의 데이터 분석 스크립트를 운용하든지 수준 있는 연구를 위한 자료를 입수할 필요가 있다. 우리의 시스템은 하나의 학술지에서 데이터를 차출하거나 개별 연구자를 식별해내는 것을 막기 위해 고안되었다.

이 인프라는 사적인 이익을 뿌리 깊게 하는 자원이 아닌 공공재로 여겨질 필요가 있다. 물론, 이 시스템은 책임 있는 데이터 관리와 기밀유지, 신뢰성에 대한 주주들의 요구를 고려해야 할 것이다. 일단 시행되면 연구에 대한 연구로의 접근은 매우 광범위해질 것이다. 학자들은 데이터 공유에 대한 개별 계약 협의를 할 필요가 없거나 학술지 편집자나 출판사와 직접적으로 연계할 수 있을 것이다.

출판사들 또한 데이터를 익명화하고 관리하기 위한 공통 프로토콜에 의존하여 비용을 절감하고 평판과 관련한 위험을 줄일 수 있을 것이다. 실제로, 동료심사에 대한 데이터의 공유에 대한 동의는 약탈적 학술지들에 의한 피해가 증가하는 세상에서 적법성에 대한 확실한 표식이 되어 줄 것이다. 데이터와 학술지의 관리와 심사위원과 편집자의 교육, 자격입증, 신뢰에 대한 기준을 뒷받침하는 작업을 상상하는 것이 어렵지 않을 것이다. 앞으로 해야 할 일이 많지만, 동료심사에 대한 연구를 지원하는 것은 저자와 심사위원, 편집자 모두를 위한 더 나은 프로세스를 만드는 일임을 약속한다. 더 중요하게, 이는 신뢰와 엄격함, 과학적 저서의 타당성을 높일 것이다. 모두가 혜택을 받을 것이다.

 

동료심사 데이터

PEERE는 동료심사 과정의 데이터 공유에 대한 프로토콜을 가지고 있다 (go.nature.com/2vbkc7m). 제출된 논문에 각각에 대한 정보는 (본 지면에 4개 카테고리로 나눠 제공됨) 익명 처리 되었으며 PEERE 인프라 내에서 정리되고 보호되고 동료심사에 대한 연구를 하는 연구자들이 사용할 수 있다.

 

논문

저자 특성(숫자, 성별, 국가, 경력(직급)). 데이터는 이름이 아닌 식별자로 구별되어 저장됨.

편집 결정(수락, 거절)

제출된 논문의 텍스트(기계 해독만 가능하도록 재암호화 됨)

발표된 논문의 텍스트

인식 지표 (인용, Almetrics(Alternative metrics))

 

학술지

분야

영향 요소. 범위는 특정 학술지나 논문 식별을 불가하도록 사용됨

연간 제출 숫자

거절률

 

심사 과정

편집자 특성(성별, 숫자). 데이터는 이름이 아닌 식별자로 구별되어 저장됨.

제출 날짜

편집자와 심사위원의 결정을 위해 요구되는 시간

익명 처리 유형

초대된 심사위원 및 실제 참여한 심사위원 숫자

수정 횟수

 

심사위원 보고서

심사위원 특성(숫자, 성별, 국가, 경력). 데이터는 이름이 아닌 식별자로 구별되어 저장됨.

심사위원 점수 및 추천(거절, 적은 혹은 많은 수정을 포함하여 수락)

심사위원 사이의 동의

보고서의 길이와 텍스트 (기계 해독만 가능하도록 재암호화 됨)

공개 정도(보고서 혹은 심사위원 정보를 공개할 것인지).

 

출처: https://www.nature.com/articles/d41586-020-00500-y

2020316일 검색