인포그래픽=이노바저널 Copilot AI 디자인

AI가 논문 심사에 활용되며 효율성과 공정성의 새로운 가능성을 열어가던 가운데, 최근 국제 학술지에 게재된 논문 17편에서 ‘긍정적으로 평가하라’, ‘부정적인 점을 언급하지 마라’는 등의 유도성 명령어가 발견되며 학계에 충격을 안기고 있다. 일부 논문은 흰 배경에 흰 글씨로 해당 프롬프트를 삽입하는 방식으로 AI의 판단을 왜곡한 정황이 드러났으며, KAIST를 비롯한 주요 대학 소속 연구자들이 관련되어 논란은 더욱 확산되고 있다.

AI는 도구일 뿐… 문제는 ‘어떻게 사용되느냐’

AI는 반복적이고 분석적인 작업에서 탁월한 성능을 발휘하며, 학술 검토 과정의 효율성을 크게 높여왔다. 전문가 부족 문제를 완화하고, 일관된 기준을 통한 평가를 가능케 하면서 AI는 학술 출판계에서 기대를 모아왔다. 그러나 최근 발생한 ‘숨겨진 명령어 삽입’ 사건은, AI가 ‘설정값’에 따라 얼마든지 조작될 수 있음을 보여준다.

“AI는 명령어를 무비판적으로 따른다. 이는 기술적 성능이 아니라, 사용하는 사람의 윤리 수준에 따라 AI의 판단이 좌우될 수 있다는 의미다”라는 분석이 나오는 이유다.

윤리 문제로 확산된 AI 논문 조작…의도는 무엇인가?

논란의 중심에는 ‘게으른 평가자를 향한 풍자’라는 주장도 있다. 일부 연구자들은 “심사자들이 AI 평가에만 의존하는 현실에 경종을 울리기 위한 실험적 시도였다”고 항변한다. 그러나 학계 다수는 “AI의 신뢰를 근본적으로 위협하는 행위이며, 결과적으로 기술의 목적을 왜곡한 사례”라며 비판의 목소리를 높이고 있다.

해당 논문들은 공개 검토 시스템이 적용된 학술지에서 발견됐으며, 일부는 이미 수정되거나 철회 절차를 밟고 있는 것으로 알려졌다.

AI 윤리의 기준은 누가 세우는가… 진화하는 국제 기준

이번 사건은 단순한 일탈을 넘어, AI 기술 활용 전반에 대한 윤리적 성찰을 요구하고 있다. 2025년 8월 시행을 앞둔 유럽연합의 AI 법안(AI Act)은 고위험 AI에 대한 투명성과 안전성 요구를 강화하고 있으며, 싱가포르·중국·호주 등도 자국 실정에 맞는 윤리 가이드라인을 발표하고 있다.

UNESCO는 2025년 방콕에서 열린 제3차 글로벌 포럼에서 인권, 성평등, 지속가능성을 중심으로 한 윤리적 AI 프레임워크 확산을 촉구했다. ‘에이전틱 AI(agentic AI)’의 부상, 설명 가능한 AI(XAI) 개발, 그리고 AI 리터러시 교육 등도 이제는 학계와 사회 전반이 함께 논의해야 할 필수 과제가 되었다.

“기술은 도구일 뿐… 책임은 인간에게”

이번 사건은 기술의 한계가 아닌, 사람의 윤리적 선택이 문제임을 다시금 환기시킨다. 학계는 AI 활용 가이드라인과 투명한 윤리 기준을 정립하는 데 박차를 가해야 하며, 독립적인 감시와 검증 체계 또한 필요하다. 기술을 신뢰하려면, 그 기술을 어떻게 사용할 것인지에 대한 성찰이 먼저다.

AI가 점점 더 많은 결정을 대신하게 되는 시대, 우리가 신중히 고민해야 할 것은 그 판단을 AI에게 ‘맡긴다’는 것이 아니라, ‘어떻게 맡길 것인가’이다.