작성자 CRE 댓글 0 건 조회 1,337 회 작성일 20-02-14 17:32

자기 인용에 대한 감시 활동(Policing Self-Citations)

 

Van Noorden, R. & Singh Chawla, D. Nature, 572, 578-579. (2019). http://doi.org/10.1038/d41586-019-02479-7

이 글은 2019년 8월 19일 Nature지에 게재된 Richard Van Noorden와 Dalmeet Singh Chawla의 특집기사를 번역한 글입니다. 

 

 

몇몇 우수한 연구자들이 그들 스스로 과도하게 인용하여, 연구자들은 이 사안에 대해 어떻게 해야 할 지 논의하고 있다.

 

 

  새롭게 발표된 데이터들에 따르면 세계에서 가장 인용이 많이 된 연구자들은 다양한 분야에 걸쳐 기이한 무리를 형성한다. 노벨 수상자들과 저명한 명사들은 인도 Chennai의 Sundarapandian Vaidyanathan와 같이 다소 덜 유명한 사람들과 함께 묶여진다. Vaidyanathan가 수백 명의 다른 연구자들과 다른 점은 논문의 많은 인용이 자신의 논문이나 공저자의 논문에서 나온다는 것이다. 

  사설 기관인 Vel Tch R&D 기술 연구소의 컴퓨터 공학자 Vaidyanathan는 그 극단적인 예이다: PLoS Biology에 이번 달 발표된 연구에 따르면 2017년까지의 그의 인용의 94%가 자신이나 공저자로부터 인용된 것으로 나타났다. 그 혼자만의 일은 아니다. 약 100,000 명의 연구자들의 데이터 세트를 보면 자기 인용율의 중간 값은 12.7%인데 반해, 최소 250명의 과학자들은 인용의 50% 이상이 자신이나 공저자이다.  

  연구자들은 이 연구가 잠재적인 극단적 자기-홍보자(self-promoters), 그리고 과학자들이 서로를 심각하게 인용하는 ‘인용 양식장(citation farms)’을 찾아내는데 도움이 될 수 있다고 말한다. 연구가 어떻게 수행되는지 탐구하는 학문인 메타과학을 중점적으로 연구하는 스탠포드 대학의 의사 John Ioannidis는 다음과 같이 말했다. “나는 자기 인용 양식장(self-citation farms)이 우리가 믿고 있는 것보다 더 흔하다고 생각한다.”, “25% 이상의 자기인용이 반드시 비윤리적이라고 말할 순 없다. 하지만, 철저한 검토가 필요할 것이다.”

  자기 인용 지표들에 대한 여러 자료들이 발표되고 있다. 이제는 연구비 지원 기관, 학술지, 그리고 많은 이들이 과도한 자기 인용에 의해 야기되는 잠재적 문제들에 초점을 맞추어야 할 때이다. 6월, 런던에 있는 출판윤리 자문 기관인 출판윤리위원회(Committee on Publication Ethics, COPE)는 자기 인용이 인용 조작의 주된 형태 중 하나라고 강조했다. 이것은 임용이나 승진, 연구비 제공을 결정할 때 인용 지표에 과도하게 의존하는 것과 같은 더 큰 문제와도 관련 있다. Eugene시의 University of Oregon의 심리학자인 Sanjay Srivastava는 이렇게 말했다. “우리가 인용 위주의 평가 지표에만 주의를 기울이고 이를 업적 성취와 연결하다 보면 결국 자기 인용을 장려하는 일이 된다.” 

  많은 과학자들이 과도한 자기 인용이 문제라고 생각하고는 있지만, 그에 반해 그 문제가 얼마나 많이 일어나고 있는지, 그에 대해 어떻게 대처해야 하는지에 대해서는 많은 부분 합의가 이루어지지 않았다. 부분적으로 연구자들이 그들 자신이나 동료들의 성과를 인용하는데 대부분 합당한 이유를 가지고 있기 때문일 것이다. Ioannidis는 연구 분야와 경력의 단계에 따라 다를 수 있기 때문에 그의 연구 결과가 특정 학문 분야의 자기 인용율에 대한 비난으로 이어지지 말아야 한다고 경고한다. 그는 “이것은 그저 완전하고 투명한 자료를 제공한 것이다. 높은 자기 인용이 꼭 나쁜 과학자라고 판단하는 것에 사용되어서는 안 된다.” 라고 말했다. 

 

white printer paper lot

Photo by Annie Spratt on Unsplash

 

 

데이터 드라이브(data drive)


  Ioannidis와 공저자들은 연구 결과를 자기 인용에만 초점을 맞춰 발표하지 않았다. 지난 20년 동안 176개 학문의 하위 분야들에서 가장 많이 인용된 100,000명 정도의 연구자들에 대한 표준화된 인용 기반 평가 지표는 그저 연구의 한 부분일 뿐이다. 

  뉴멕시코 Albuquerque에 있는 과학기술 전략 분석 회사의 Richard Klavans과 Kevin Boyack, 그리고 암스테르담 기반 출판사인 Elsevier의 분석관인 Jeroen Baas는 함께 데이터를 수집했다; 수집된 모든 데이터는 Elsevier의 Scopus 데이터 베이스에서 제공되었다. 팀은 이 작업으로 인용에 영향을 미치는 요인들을 확인할 수 있기를 기대한다.

  하지만 가장 눈에 띄는 결과는 자기 인용 관련 분석 결과이다. 이미 Scopus나 Web of Science와 같은 데이터 베이스 서비스에서 그들의 인용 기록을 찾아보는 것으로 저자들이 스스로의 결과물을 얼마나 많이 인용하고 있는지 확인할 수 있다. 하지만 연구 분야나 그들의 경력 단계를 고려하지 않고서는 그 수치들을 맥락에 맞추어 설명하긴 어렵다. 

  Vaidyanathan의 기록은 가장 극단적 예시가 될 수 있다. – 그리고 그것은 특정한 보상을 가져오기도 했다. 작년, 그는 생산성과 인용 평가 지표의 결과로 국가 최고의 연구자 중 한 명이 되었고 이에 대한 보상으로 20,000루피(280달러)를 받았다. Vaidyanathan은  Nature지의 답변 요청에 응하지 않았으나, 온라인 답변 플랫폼인 Quora에 기재된 Vel Tech에 대한 질문들에 답하며 자신의 인용 기록에 대해 변호 했다. 2017년, 그는 연구란 연속적인 과정이기 때문에 “이전 연구 결과를 언급하지 않고선 다음 작업을 이행할 수 없다.” 고 말하며 다른 사람들에게 좋지 않은 영향을 줄 의도로 자기 인용을 한 것은 아니라고 썼다. 

  찬사를 받았으나 그들 스스로를 과도하게 인용한 두 명의 연구자들은 리야드의 King Saud University, 러시아 예카테린부르크의 Ural Federal University, 그리스 코모티니의 Democritus University of Thrace 계열 웹사이트를 운영하는 수학자 Theodore Simos, 그리고 역시 King Saud University 계열인 이탈리아 University of Florence의 화학자 Claudiu Supuran이다. 인용의 76% 정도를 그 자신이나 공저자들로부터 인용한 Simos와 62%를 인용한 Supuran, 둘 다 작년 Web of Science가 운영하는 펜실베니아 필라델피아 정보 서비스 회사인 클래리베이트 애널리틱스(Clarivate Analytics)가 선정한 “뛰어난 연구 성과를 보인 세계적 연구자” 6,000명의 명단에 올랐다. Simos와 Supuran도 역시 Nature지의 답변 요구에는 응하지 않았다. 클래리베이트는 비정상적인 자기 인용 패턴 이슈에 대해선 인지하고 있으며, 목록을 산출하는 데 사용되는 방법이 바뀔 수 있다고 밝혔다. 

 

자기 인용에 대해 어떻게 대처해야 할까?


  지난 몇 년 동안, 연구자들은 자기 인용에 대해 더욱 주의를 기울여 왔다. 그 예로 2016년 출판 전 논문에서 남성 학자들이 여성 학자들보다 평균적으로 56% 더 많이 그들 스스로를 인용했다고 보고했으나, 작년에 이루어진 후속 분석에서는 이러한 결과가 성별과는 상관없이 인용할 과거의 성과가 더 많은 대량 생산적 저자들 사이에서 일어나는 높은 자기 인용의 영향을 받은 것일 수 있다고 보고했다. 2017년 한 연구 결과는 연구자들이 승진을 위해서는 생산성 최소 임계치를 맞춰야 한다는 논란의 2010년 정책이 도입된 이후, 이탈리아의 과학자들이 그들 스스로를 더 많이 인용하기 시작했다고 보고했다. 그리고 작년, 연구비와 장학금에 자금을 할당하는 데 인용에 기반을 둔 공식을 사용하는 인도네시아의 학술 부처는 몇몇 연구자들이 과도한 자기표절, 서로를 인용하는 학술 그룹을 형성하는 것과 같은 비윤리적 방식을 사용하여 점수를 높이고 있다고 말했다. 해당 정부 부처는 15명의 연구자에 대한 지원을 중단할 것이며 산출 공식에서 자기 인용을 배제할 계획이라고 밝혔다. 

  그러나 개개인의 자기 인용율을 공개적으로 나열하거나 자기 인용과 연관된 평가 지표를 기반으로 그들을 평가하는 것은 논쟁의 여지가 많다. 예를 들어, 지난달 5일 발표된 토론 문서에서 COPE 측은 “자기 인용이 좋은 학문적 의미를 가지는 것에 대한 미묘한 견해 차이를 허용하지 않고 있기” 때문에 평가 지표에서 자기 인용을 배제하는 것에 반발했다(See go.nature.com/2z3uomu for a survey).

  2017년 당시 스위스 University of Zurich의 생물학자였던 Justin Flatt은 과학자들의 자기 인용 기록에 대해 더 명확해야 한다고 호소했다. 현재 University of Helsinki에 재직 중인 Flatt은 많은 연구자들에게 사용되는 생산성 지표인 h-index처럼 자기 인용 index, 또는 s-index를 발표할 것을 제안했다. h-index 20은 최소 20회 이상 인용된 논문 20개를 발표했음을 나타내는 지표로, 이와 마찬가지로 s-index 10은 최소 10회 이상 자기 인용을 한 논문 10회를 발표했음을 의미한다. 

  s-index 데이터 수집을 위한 보조금을 받은 Flatt은 이런 종류의 작업이 자기 인용에 대한 수용될 만한 점수의 임계점을 만들거나, 높은 자기 인용자를 비난하는 데 초점을 두는 것이 아니라는 Ioannidis의 의견에 동의한다. “자기 인용을 범죄화 하는 것은 결코 아니다.” 라고 그는 말한다. 하지만 학자들이 h-index를 사용하며 스스로를 계속 홍보하는 것처럼, s-index도 그러한 맥락에서 포함시키는 것이라고 그는 주장한다. 

 

맥락의 문제


  Ioannidis의 연구에서 특이한 점은 공저자에 의한 인용까지 자기 인용으로 포함하는 광의적 정의를 사용한다는 것이다. 이것은 인용 양식장의 가능한 예시들을 포착하기 위한 의도였다; 하지만 벨기에의 Ghent University의 Marco Seeber는 이것이 자기 인용 점수를 오히려 부풀렸다고 말했다. 입자 물리학과 천문학을 예로 들면 종종 수백 수천 명의 공저자가 있기도 하는데, 이것이 전 분야에 걸쳐 자기 인용율 평균을 높였다. 

  Ioannidis는 국가, 경력 단계, 학문 분야의 평균을 비교하며 이러한 체계적 차이를 고려할 수 있다고 말한다. 하지만 더 일반적으로, 이 목록은 더 자세히 살펴보아야 할 경우들에 대해 주의를 기울이게 한다고 설명한다. Elsevier의 Bass는 700만 명의 더 큰 과학자 데이터 세트에 비슷한 분석을 적용했다고 말한다.: 즉, 5개 이상의 논문을 발표한 적이 있는 Scopus에  기재된 모든 저자들. Bass는 이 데이터 세트에서 자기 인용율 중간 값은 15.5%이지만, 저자들 중 최대 7%는 40% 이상을 보인다고 설명한다. 이 비율은 가장 많이 인용된 과학자들보다 훨씬 높은 수치인데, 700만 명의 연구자들 중 대부분은 인용된 적이 거의 없거나, 경력의 초기 단계에 있기 때문이다. 초기 경력의 과학자들은 높은 자기 인용율을 보이는 경향이 있는데, 이는 다른 사람들의 연구로부터 인용될 시간이 많이 없었기 때문이다. 

  Bass의 데이터에 따르면 러시아와 우크라이나는 중간 값 이상의 자기 인용율을 보인다(국가 간 비교 그래프 참고). 또한 그의 분석 결과는 많은 저자가 참여한 논문들을 보유하고 있는 특정 분야가 두드러짐을 보여준다. – 핵과 입자 물리학, 천문학, 천체 물리학. 하지만 Bass는 그의 데이터를 공개할 계획은 없다고 밝혔다.

 

과학에 좋을까?


  비록 PLoS Biology 연구에서는 몇몇 극단적 자기 인용자를 명시하며 그들을 잘 찾는 방법을 제안하였지만, 몇몇 연구자들은 연구 분야와 경력 단계에 따라 지표가 다를 것이기 때문에 자기 인용 수치 자료가 도움이 될 것이라고 확신하지는 않는다. 캐나다 University of Montreal의 정보 과학자인 Vincent Larivière는 “자기 인용은 보이는 것보다 훨씬 더 복잡한 문제다.” 라고 말한다. 

  Srivastava는 과도한 자기 인용을 막는 가장 좋은 방법이 꼭 연구자들끼리 서로를 비교하기 위한 더 자세한 측정 방법을 개발하는 것일 필요는 없다고 덧붙였다. 그 방법들은 나름대로 자체 결함이 있을 수 있으며, 이러한 접근 방식은 과학자들을 개인 수준의 측정 세계로 끌어들여 처음과 같은 인센티브적 게임과 같은 문제를 초래할 수 있다고 말했다. 

  Srivastava는 다음과 같이 말했다. “편집인과 동료 심사자에게 정당하지 않은 자기 인용을 찾으라고 요청해야 한다.”, “아마도 이러한 대략적 지표들은 더 자세히 살펴볼 계기를 주는 도구로써 유용하다. 그러나, 궁극적으로 이러한 문제는 평가 항목을 두 배로 늘리는 것이 아니라 동료 전문자의 판정과 함께하는 전문적 평가에 의존해야 한다.” Bloomington에 있는 Indiana University의 정보 과학자인 Cassidy Sugimoto는 더 많은 측정 방법이 답이 아니라는 데 동의한다. “순위를 매기는 것은 과학에 좋지 않다.” 

  하지만 Ioannidis는 그의 작업이 필요한 것이었다고 말한다. 그는 “사람들은 이미 개인적 지표에 크게 의존하고 있다. 문제는 그 정보가 가능한 한 정확하고 신중하고, 체계적으로 정리되도록 하는 방법이다.” 라고 말했다. “인용 지표는 사라질 수 없고 사라져서도 안 된다. 우리는 많은 문제점에 대해 정확히 인정하면서 가장 잘 활용 수 있도록 만들어야 한다.”

 

 

Van Noorden, R. & Singh Chawla, D. Nature,572, 578-579. (2019). http://doi.org/10.1038/d41586-019-02479-7

등록된 댓글이 없습니다.

자기 인용에 대한 감시 활동(Policing Self-Citations)

  • 작성일 20-02-14 17:32
  • 조회 1,337

자기 인용에 대한 감시 활동(Policing Self-Citations)

 

Van Noorden, R. & Singh Chawla, D. Nature, 572, 578-579. (2019). http://doi.org/10.1038/d41586-019-02479-7

이 글은 2019년 8월 19일 Nature지에 게재된 Richard Van Noorden와 Dalmeet Singh Chawla의 특집기사를 번역한 글입니다. 

 

 

몇몇 우수한 연구자들이 그들 스스로 과도하게 인용하여, 연구자들은 이 사안에 대해 어떻게 해야 할 지 논의하고 있다.

 

 

  새롭게 발표된 데이터들에 따르면 세계에서 가장 인용이 많이 된 연구자들은 다양한 분야에 걸쳐 기이한 무리를 형성한다. 노벨 수상자들과 저명한 명사들은 인도 Chennai의 Sundarapandian Vaidyanathan와 같이 다소 덜 유명한 사람들과 함께 묶여진다. Vaidyanathan가 수백 명의 다른 연구자들과 다른 점은 논문의 많은 인용이 자신의 논문이나 공저자의 논문에서 나온다는 것이다. 

  사설 기관인 Vel Tch R&D 기술 연구소의 컴퓨터 공학자 Vaidyanathan는 그 극단적인 예이다: PLoS Biology에 이번 달 발표된 연구에 따르면 2017년까지의 그의 인용의 94%가 자신이나 공저자로부터 인용된 것으로 나타났다. 그 혼자만의 일은 아니다. 약 100,000 명의 연구자들의 데이터 세트를 보면 자기 인용율의 중간 값은 12.7%인데 반해, 최소 250명의 과학자들은 인용의 50% 이상이 자신이나 공저자이다.  

  연구자들은 이 연구가 잠재적인 극단적 자기-홍보자(self-promoters), 그리고 과학자들이 서로를 심각하게 인용하는 ‘인용 양식장(citation farms)’을 찾아내는데 도움이 될 수 있다고 말한다. 연구가 어떻게 수행되는지 탐구하는 학문인 메타과학을 중점적으로 연구하는 스탠포드 대학의 의사 John Ioannidis는 다음과 같이 말했다. “나는 자기 인용 양식장(self-citation farms)이 우리가 믿고 있는 것보다 더 흔하다고 생각한다.”, “25% 이상의 자기인용이 반드시 비윤리적이라고 말할 순 없다. 하지만, 철저한 검토가 필요할 것이다.”

  자기 인용 지표들에 대한 여러 자료들이 발표되고 있다. 이제는 연구비 지원 기관, 학술지, 그리고 많은 이들이 과도한 자기 인용에 의해 야기되는 잠재적 문제들에 초점을 맞추어야 할 때이다. 6월, 런던에 있는 출판윤리 자문 기관인 출판윤리위원회(Committee on Publication Ethics, COPE)는 자기 인용이 인용 조작의 주된 형태 중 하나라고 강조했다. 이것은 임용이나 승진, 연구비 제공을 결정할 때 인용 지표에 과도하게 의존하는 것과 같은 더 큰 문제와도 관련 있다. Eugene시의 University of Oregon의 심리학자인 Sanjay Srivastava는 이렇게 말했다. “우리가 인용 위주의 평가 지표에만 주의를 기울이고 이를 업적 성취와 연결하다 보면 결국 자기 인용을 장려하는 일이 된다.” 

  많은 과학자들이 과도한 자기 인용이 문제라고 생각하고는 있지만, 그에 반해 그 문제가 얼마나 많이 일어나고 있는지, 그에 대해 어떻게 대처해야 하는지에 대해서는 많은 부분 합의가 이루어지지 않았다. 부분적으로 연구자들이 그들 자신이나 동료들의 성과를 인용하는데 대부분 합당한 이유를 가지고 있기 때문일 것이다. Ioannidis는 연구 분야와 경력의 단계에 따라 다를 수 있기 때문에 그의 연구 결과가 특정 학문 분야의 자기 인용율에 대한 비난으로 이어지지 말아야 한다고 경고한다. 그는 “이것은 그저 완전하고 투명한 자료를 제공한 것이다. 높은 자기 인용이 꼭 나쁜 과학자라고 판단하는 것에 사용되어서는 안 된다.” 라고 말했다. 

 

white printer paper lot

Photo by Annie Spratt on Unsplash

 

 

데이터 드라이브(data drive)


  Ioannidis와 공저자들은 연구 결과를 자기 인용에만 초점을 맞춰 발표하지 않았다. 지난 20년 동안 176개 학문의 하위 분야들에서 가장 많이 인용된 100,000명 정도의 연구자들에 대한 표준화된 인용 기반 평가 지표는 그저 연구의 한 부분일 뿐이다. 

  뉴멕시코 Albuquerque에 있는 과학기술 전략 분석 회사의 Richard Klavans과 Kevin Boyack, 그리고 암스테르담 기반 출판사인 Elsevier의 분석관인 Jeroen Baas는 함께 데이터를 수집했다; 수집된 모든 데이터는 Elsevier의 Scopus 데이터 베이스에서 제공되었다. 팀은 이 작업으로 인용에 영향을 미치는 요인들을 확인할 수 있기를 기대한다.

  하지만 가장 눈에 띄는 결과는 자기 인용 관련 분석 결과이다. 이미 Scopus나 Web of Science와 같은 데이터 베이스 서비스에서 그들의 인용 기록을 찾아보는 것으로 저자들이 스스로의 결과물을 얼마나 많이 인용하고 있는지 확인할 수 있다. 하지만 연구 분야나 그들의 경력 단계를 고려하지 않고서는 그 수치들을 맥락에 맞추어 설명하긴 어렵다. 

  Vaidyanathan의 기록은 가장 극단적 예시가 될 수 있다. – 그리고 그것은 특정한 보상을 가져오기도 했다. 작년, 그는 생산성과 인용 평가 지표의 결과로 국가 최고의 연구자 중 한 명이 되었고 이에 대한 보상으로 20,000루피(280달러)를 받았다. Vaidyanathan은  Nature지의 답변 요청에 응하지 않았으나, 온라인 답변 플랫폼인 Quora에 기재된 Vel Tech에 대한 질문들에 답하며 자신의 인용 기록에 대해 변호 했다. 2017년, 그는 연구란 연속적인 과정이기 때문에 “이전 연구 결과를 언급하지 않고선 다음 작업을 이행할 수 없다.” 고 말하며 다른 사람들에게 좋지 않은 영향을 줄 의도로 자기 인용을 한 것은 아니라고 썼다. 

  찬사를 받았으나 그들 스스로를 과도하게 인용한 두 명의 연구자들은 리야드의 King Saud University, 러시아 예카테린부르크의 Ural Federal University, 그리스 코모티니의 Democritus University of Thrace 계열 웹사이트를 운영하는 수학자 Theodore Simos, 그리고 역시 King Saud University 계열인 이탈리아 University of Florence의 화학자 Claudiu Supuran이다. 인용의 76% 정도를 그 자신이나 공저자들로부터 인용한 Simos와 62%를 인용한 Supuran, 둘 다 작년 Web of Science가 운영하는 펜실베니아 필라델피아 정보 서비스 회사인 클래리베이트 애널리틱스(Clarivate Analytics)가 선정한 “뛰어난 연구 성과를 보인 세계적 연구자” 6,000명의 명단에 올랐다. Simos와 Supuran도 역시 Nature지의 답변 요구에는 응하지 않았다. 클래리베이트는 비정상적인 자기 인용 패턴 이슈에 대해선 인지하고 있으며, 목록을 산출하는 데 사용되는 방법이 바뀔 수 있다고 밝혔다. 

 

자기 인용에 대해 어떻게 대처해야 할까?


  지난 몇 년 동안, 연구자들은 자기 인용에 대해 더욱 주의를 기울여 왔다. 그 예로 2016년 출판 전 논문에서 남성 학자들이 여성 학자들보다 평균적으로 56% 더 많이 그들 스스로를 인용했다고 보고했으나, 작년에 이루어진 후속 분석에서는 이러한 결과가 성별과는 상관없이 인용할 과거의 성과가 더 많은 대량 생산적 저자들 사이에서 일어나는 높은 자기 인용의 영향을 받은 것일 수 있다고 보고했다. 2017년 한 연구 결과는 연구자들이 승진을 위해서는 생산성 최소 임계치를 맞춰야 한다는 논란의 2010년 정책이 도입된 이후, 이탈리아의 과학자들이 그들 스스로를 더 많이 인용하기 시작했다고 보고했다. 그리고 작년, 연구비와 장학금에 자금을 할당하는 데 인용에 기반을 둔 공식을 사용하는 인도네시아의 학술 부처는 몇몇 연구자들이 과도한 자기표절, 서로를 인용하는 학술 그룹을 형성하는 것과 같은 비윤리적 방식을 사용하여 점수를 높이고 있다고 말했다. 해당 정부 부처는 15명의 연구자에 대한 지원을 중단할 것이며 산출 공식에서 자기 인용을 배제할 계획이라고 밝혔다. 

  그러나 개개인의 자기 인용율을 공개적으로 나열하거나 자기 인용과 연관된 평가 지표를 기반으로 그들을 평가하는 것은 논쟁의 여지가 많다. 예를 들어, 지난달 5일 발표된 토론 문서에서 COPE 측은 “자기 인용이 좋은 학문적 의미를 가지는 것에 대한 미묘한 견해 차이를 허용하지 않고 있기” 때문에 평가 지표에서 자기 인용을 배제하는 것에 반발했다(See go.nature.com/2z3uomu for a survey).

  2017년 당시 스위스 University of Zurich의 생물학자였던 Justin Flatt은 과학자들의 자기 인용 기록에 대해 더 명확해야 한다고 호소했다. 현재 University of Helsinki에 재직 중인 Flatt은 많은 연구자들에게 사용되는 생산성 지표인 h-index처럼 자기 인용 index, 또는 s-index를 발표할 것을 제안했다. h-index 20은 최소 20회 이상 인용된 논문 20개를 발표했음을 나타내는 지표로, 이와 마찬가지로 s-index 10은 최소 10회 이상 자기 인용을 한 논문 10회를 발표했음을 의미한다. 

  s-index 데이터 수집을 위한 보조금을 받은 Flatt은 이런 종류의 작업이 자기 인용에 대한 수용될 만한 점수의 임계점을 만들거나, 높은 자기 인용자를 비난하는 데 초점을 두는 것이 아니라는 Ioannidis의 의견에 동의한다. “자기 인용을 범죄화 하는 것은 결코 아니다.” 라고 그는 말한다. 하지만 학자들이 h-index를 사용하며 스스로를 계속 홍보하는 것처럼, s-index도 그러한 맥락에서 포함시키는 것이라고 그는 주장한다. 

 

맥락의 문제


  Ioannidis의 연구에서 특이한 점은 공저자에 의한 인용까지 자기 인용으로 포함하는 광의적 정의를 사용한다는 것이다. 이것은 인용 양식장의 가능한 예시들을 포착하기 위한 의도였다; 하지만 벨기에의 Ghent University의 Marco Seeber는 이것이 자기 인용 점수를 오히려 부풀렸다고 말했다. 입자 물리학과 천문학을 예로 들면 종종 수백 수천 명의 공저자가 있기도 하는데, 이것이 전 분야에 걸쳐 자기 인용율 평균을 높였다. 

  Ioannidis는 국가, 경력 단계, 학문 분야의 평균을 비교하며 이러한 체계적 차이를 고려할 수 있다고 말한다. 하지만 더 일반적으로, 이 목록은 더 자세히 살펴보아야 할 경우들에 대해 주의를 기울이게 한다고 설명한다. Elsevier의 Bass는 700만 명의 더 큰 과학자 데이터 세트에 비슷한 분석을 적용했다고 말한다.: 즉, 5개 이상의 논문을 발표한 적이 있는 Scopus에  기재된 모든 저자들. Bass는 이 데이터 세트에서 자기 인용율 중간 값은 15.5%이지만, 저자들 중 최대 7%는 40% 이상을 보인다고 설명한다. 이 비율은 가장 많이 인용된 과학자들보다 훨씬 높은 수치인데, 700만 명의 연구자들 중 대부분은 인용된 적이 거의 없거나, 경력의 초기 단계에 있기 때문이다. 초기 경력의 과학자들은 높은 자기 인용율을 보이는 경향이 있는데, 이는 다른 사람들의 연구로부터 인용될 시간이 많이 없었기 때문이다. 

  Bass의 데이터에 따르면 러시아와 우크라이나는 중간 값 이상의 자기 인용율을 보인다(국가 간 비교 그래프 참고). 또한 그의 분석 결과는 많은 저자가 참여한 논문들을 보유하고 있는 특정 분야가 두드러짐을 보여준다. – 핵과 입자 물리학, 천문학, 천체 물리학. 하지만 Bass는 그의 데이터를 공개할 계획은 없다고 밝혔다.

 

과학에 좋을까?


  비록 PLoS Biology 연구에서는 몇몇 극단적 자기 인용자를 명시하며 그들을 잘 찾는 방법을 제안하였지만, 몇몇 연구자들은 연구 분야와 경력 단계에 따라 지표가 다를 것이기 때문에 자기 인용 수치 자료가 도움이 될 것이라고 확신하지는 않는다. 캐나다 University of Montreal의 정보 과학자인 Vincent Larivière는 “자기 인용은 보이는 것보다 훨씬 더 복잡한 문제다.” 라고 말한다. 

  Srivastava는 과도한 자기 인용을 막는 가장 좋은 방법이 꼭 연구자들끼리 서로를 비교하기 위한 더 자세한 측정 방법을 개발하는 것일 필요는 없다고 덧붙였다. 그 방법들은 나름대로 자체 결함이 있을 수 있으며, 이러한 접근 방식은 과학자들을 개인 수준의 측정 세계로 끌어들여 처음과 같은 인센티브적 게임과 같은 문제를 초래할 수 있다고 말했다. 

  Srivastava는 다음과 같이 말했다. “편집인과 동료 심사자에게 정당하지 않은 자기 인용을 찾으라고 요청해야 한다.”, “아마도 이러한 대략적 지표들은 더 자세히 살펴볼 계기를 주는 도구로써 유용하다. 그러나, 궁극적으로 이러한 문제는 평가 항목을 두 배로 늘리는 것이 아니라 동료 전문자의 판정과 함께하는 전문적 평가에 의존해야 한다.” Bloomington에 있는 Indiana University의 정보 과학자인 Cassidy Sugimoto는 더 많은 측정 방법이 답이 아니라는 데 동의한다. “순위를 매기는 것은 과학에 좋지 않다.” 

  하지만 Ioannidis는 그의 작업이 필요한 것이었다고 말한다. 그는 “사람들은 이미 개인적 지표에 크게 의존하고 있다. 문제는 그 정보가 가능한 한 정확하고 신중하고, 체계적으로 정리되도록 하는 방법이다.” 라고 말했다. “인용 지표는 사라질 수 없고 사라져서도 안 된다. 우리는 많은 문제점에 대해 정확히 인정하면서 가장 잘 활용 수 있도록 만들어야 한다.”

 

 

Van Noorden, R. & Singh Chawla, D. Nature,572, 578-579. (2019). http://doi.org/10.1038/d41586-019-02479-7