⁠⁠⁠⁠⁠⁠⁠

지난해 과학 논문의 최소 13.5% 이상에서 AI 챗봇의 도움이 발견된 것으로 추정된다. 게티이미지뱅크 제공.

인공지능(AI) 기술의 진화로 과학 논문에도 AI의 영향력이 커지고 있는 가운데 대규모 언어모델(LLM) 기반 인공지능(AI) 챗봇이 과학 논문 작성에 얼마나 관여하고 있는지 드러났다.

드미트리 코박(Dmitry Kobak) 독일 튀빙겐대 신경정보학 박사 연구팀은 2024년 기준 전체 생물의학(바이오메디컬) 논문 초록의 최소 13.5%가 LLM의 도움을 받아 작성된 것이라고 추정한 연구결과를 2일(현지 시간) 국제학술지 '사이언스 어드밴시스(Science Advances)'에 발표했다.

연구에 따르면 일부 국가 연구자들이 덜 엄선된 학술지에 게재한 논문 초록에서는 LLM의 도움을 받아 작성한 비율이 최대 40%에 이른다.

연구팀은 2010~2024년 1510만 편에 달하는 생물의학 분야 논문 초록을 분석했다. AI 챗봇이 선호하는 단어 사용 패턴을 규명하고, 이를 기반으로 AI 작성 추정 초록의 비율을 산출했다.

연구팀은 'delves(파고들다)', 'crucial(중요한)', 'potential(잠재적인)', 'significant(의미있는)' 등을 포함해 총 454개 단어가 AI 챗봇이 작성한 초록에서 과도하게 사용되는 경향을 발견했다. 특히 2022년 11월 챗GPT 출시 이후 이들 단어의 사용 빈도가 눈에 띄게 증가했다. 

컴퓨터공학, 바이오인포매틱스 등 분야별로도 차이가 나타났다. 연구팀은 "이 수치는 하한선"이라며 "챗봇이 작성한 글을 사람이 편집하거나 사람이 쓴 글을 챗봇이 다듬는 경우는 포함되지 않았고 LLM이 쓴 흔적이 단어로 드러나지 않는 논문까지 포함하면 실제 비율은 더 높을 것"이라고 설명했다. 

연구팀은 또 LLM이 선호하는 단어와 문장이 실제 논문 초록에 어떻게 나타나는지도 구체적으로 제시했다. 예를 들어 "By meticulously delving into the intricate web connecting...", "A comprehensive grasp of the intricate interplay between... is pivotal for effective therapeutic strategies", "Initially, we delve into the intricacies of..., accentuating its indispensability..." 등 강하고 선명한 수식어 표현을 LLM이 선호한다고 평가했다. 

연구팀은 LLM의 등장에 대해 "LLM 모델이 과학 논문에 사용되는 언어에 미친 영향은 코로나19 팬데믹 등 세계적 사건보다 더 크다"고 했다. 코로나19 팬데믹 시기에는 'covid', 'pandemic' 등 특정 명사 사용이 급증했지만, LLM 이후에는 내용이 아닌 문체를 바꾸는 동사나 형용사의 사용이 폭발적으로 늘었다는 것이다. 

AI 챗봇 활용에 대한 과학계의 반응은 다양하다. 일부 연구자들은 AI 도움 없이 직접 작성한 논문에 대한 신뢰를 강조하며 AI 도구 사용을 경계하지만, 또 다른 연구자들은 AI가 글쓰기 과정의 효율성을 높여준다는 점에서 긍정적으로 봤다.

국제학술지 '네이처'가 5000명 이상의 연구자를 대상으로 조사한 결과 응답자의 45%는 "AI 사용 사실을 반드시 밝혀야 한다"고 답했다. 반면 23%는 "AI를 썼다고 밝히지 않고 사용해도 괜찮다"고 했다.

연구팀은 AI가 쓴 논문을 사람이 쓴 논문과 어떻게 구별하고 관리할 것인지 정책과 규범 논의가 시급하다고 강조했다. 이번 연구 결과는 생의학 논문 외에도 다른 과학 논문과 학술 출판에서 AI 활용 실태를 진단하는데도 중요한 기준이 될 전망이다. 

<참고 자료>
doi.org/10.48550/arXiv.2406.07016
 

[정지영 기자 jjy2011@donga.com]

Copyright © 동아사이언스. 무단전재 및 재배포 금지.