생성형 AI가 바꾼 과학 논문 생태계: 생산성 폭증, 그러나 출판율 하락의 역설

작성자:

최근 과학계는 인공지능(AI)이 만들어낸 ‘엉터리 논문(AI-generated slop)’으로 몸살을 앓고 있습니다. ‘runctitional’, ‘fexcectorn’, 심지어 ‘m’이 하나 더 붙은 ‘frymblal’ 같은 정체불명의 용어가 삽입된 이미지가 버젓이 심사 과정을 통과하는 사례들이 발생하며, 학술지의 동료 심사(Peer Review) 시스템에 심각한 질문을 던지고 있습니다.

과연 이러한 고명한 사건들이 극히 일부에 불과한 것일까요? 아니면 생성형 AI가 과학 문헌 전반에 걸쳐 더 깊고 광범위한 영향을 미치고 있는 것일까요? 이 중대한 질문에 답하기 위해, 버클리와 코넬 대학교 연구진의 공동 연구가 주목할 만한 통찰을 제시했습니다.

AI 시대, 과학 논문 생산량 급증의 이면

연구진은 AI의 영향력을 파악하고자 2018년부터 2024년 중반까지 arXiv, Social Science Research Network(SSRN), bioRxiv 등 세 곳의 주요 사전 출판(pre-publication) 아카이브에 제출된 2백만 건 이상의 논문 초록을 분석했습니다. 이들은 ChatGPT 이전 시기의 초록 데이터를 활용하여 사람의 글과 AI가 생성한 글의 통계적 패턴을 구별하는 모델을 훈련시켰습니다. 또한, GPT-3.5를 이용해 사람이 쓴 초록을 AI가 재작성하도록 하여 AI 텍스트의 특징을 학습시켰습니다.

이러한 분석을 통해 연구진은 특정 저자가 언제부터 LLM(대규모 언어 모델)을 논문 작성에 활용하기 시작했는지 ‘전환점’을 식별했습니다. 그리고 LLM 도입 전후 저자들의 생산성을 비교했습니다. 그 결과는 놀라웠습니다. 연구진은 “LLM 채택은 세 가지 모든 사전 출판 저장소에서 연구자들의 과학적 생산량을 크게 증가시키는 것과 관련이 있다”고 결론 내렸습니다.

AI를 사용하기 시작하면서 연구자들은 훨씬 더 많은 논문을 생산했고, 사용된 언어의 질 또한 향상되었다는 것입니다. AI가 연구자들의 글쓰기 생산성과 효율성을 비약적으로 높여준다는 사실을 여실히 보여주는 대목입니다.

에디터의 시선: 생산성 폭증과 출판율 하락의 역설, 무엇을 말하는가?

이번 연구 결과는 단순히 AI의 생산성 증대 효과를 넘어, 우리가 간과해서는 안 될 중요한 역설을 담고 있습니다. 바로 ‘생산성은 폭증했지만, 실제 학술지 출판율은 오히려 감소했다’는 점입니다. 언어의 질이 향상되었음에도 불구하고 출판의 문턱을 넘지 못하는 논문이 늘었다는 것은 무엇을 의미할까요?

저는 이 현상에 대해 몇 가지 인사이트를 제시하고자 합니다.

  1. ‘알맹이 없는 포장재’의 증가: AI는 정교하고 유려한 문장을 생산하는 데 탁월합니다. 하지만 AI는 본질적인 연구 아이디어, 깊이 있는 실험 설계, 데이터의 혁신적인 해석 등 ‘연구의 알맹이’를 만들어내지는 못합니다. 연구자들이 AI의 도움으로 글쓰기 장벽을 낮춰 더 많은 논문을 생산했지만, 그 내용의 독창성이나 학술적 가치가 부족하여 동료 심사 단계에서 걸러지는 경우가 늘었을 수 있습니다.

  2. 피어 리뷰 시스템의 각성과 진화: 앞서 언급된 ‘엉터리 논문’ 사태는 학계에 경각심을 불러일으켰습니다. 동료 심사자들은 AI 생성 콘텐츠에 대한 경계심이 높아졌고, AI 감지 도구의 활용도 증가하고 있습니다. 논문의 언어적 완성도뿐만 아니라 연구 방법론의 투명성, 데이터의 신뢰성, 그리고 ‘인간적 사고’의 흔적을 더욱 면밀히 scrutinize(조사)하고 있을 것입니다.

  3. ‘양’ 중심 사고의 함정: AI가 생산성을 높이는 도구로 인식되면서, 연구자들이 ‘더 많이’ 쓰는 것에 집중하여 연구의 질적 측면을 소홀히 할 위험이 있습니다. AI가 초고 작성 시간을 단축시켜 주지만, 그 시간을 더 깊이 있는 연구나 비판적 사고에 할애하지 않고 단순히 더 많은 초고를 만드는 데 사용한다면, 평균적인 논문의 가치는 하락할 수밖에 없습니다.

결론적으로, 이번 연구는 AI가 학술 연구에 가져온 변화의 양면성을 극명하게 보여줍니다. AI는 분명 연구자들의 생산성을 혁신적으로 끌어올리는 강력한 도구입니다. 하지만 동시에 ‘진정한 혁신’과 ‘학술적 무결성’이라는 본질적인 가치를 지키기 위한 학계와 IT 업계의 노력이 더욱 중요해졌음을 시사합니다.

앞으로 우리는 AI가 단순히 글을 ‘생성’하는 것을 넘어, 연구의 본질적인 문제 해결에 기여하는 방향으로 발전해야 할 것입니다. 또한, 학계는 AI 활용에 대한 명확한 가이드라인을 제시하고, 인간 고유의 비판적 사고와 창의성을 강조하는 방향으로 연구 문화를 이끌어야 할 것입니다. AI 시대, ‘더 많이’가 아닌 ‘더 가치 있는’ 연구를 향한 지혜가 필요한 시점입니다.