자료=국가정보원 누리집 갈무리

국정원이 공개한 최근 뉴스에 따르면, 공격자는 AI 모델이 학습하는 데이터를 조작하거나, 반복적으로 악성 URL을 입력해 ‘AI 환각현상’을 유도한다. 이렇게 학습된 모델은 아무런 검증 없이 악성 링크를 추천하거나 출력하게 되며, 이를 본 사용자는 해당 링크를 클릭함으로써 보안 위협에 노출된다고 경고한다.

 ‘AI 환각’이란 무엇인가?

‘AI 환각’은 생성형 AI가 실제 사실이 아닌 내용을 그럴듯하게 생성하는 현상을 의미한다. 학습 데이터의 오류, 부족한 맥락 이해, 지속적인 잘못된 프롬프트 등이 원인이다. 일반적인 환각현상도 문제지만, 최근에는 이를 악용해 악성 링크나 코드가 포함된 출력을 유도하는 공격이 늘고 있다. 

실제 피해 사례 속출

최근 국내 모 대학 연구실 소속 대학원생 A씨는 “AI에게 참고 논문을 추천받았는데, 그중 하나가 피싱사이트였다”며 피해를 호소했다. AI가 환각을 일으켜 존재하지 않는 DOI를 출력하고, 이를 공격자가 의도적으로 연결된 악성 URL로 설정해둔 정황이 확인됐다.

또한, 미국의 한 스타트업은 생성형 AI 기반 고객지원 시스템이 사용자의 요청에 따라 악성 다운로드 링크를 추천한 것으로 확인돼, 긴급하게 서비스 중단과 AI 모델 수정 작업을 벌였다. 해당 사례는 5,000건 이상의 유출 피해를 낳았고, GDPR 규정 위반으로 과징금까지 부과됐다.

전문가 “생성형 AI, 아직 완전한 검증체계 필요”

정보보안 전문가 서울의 A대학교 사이버보안학과 김모 교수는 “AI는 생성된 결과가 항상 신뢰 가능한 것이 아니라는 점에서 사용자와 기업 모두 높은 보안 인식이 필요하다”고 지적했다. 그는 이어 “특히 검색 엔진이나 추천 시스템처럼 AI가 정보를 제공하는 서비스의 경우, 잘못된 학습이나 악의적 조작에 의해 보안 취약점이 심각해질 수 있다”고 강조했다.

국정원 권고 ‘생성형 AI 보안 수칙’ 

이에 대응해 국정원은 AI 서비스 사용자와 기업에게 다음과 같은 예방 수칙을 권고했다:

1. AI 출력 정보 검증 필수 – AI가 추천하거나 생성한 링크, 정보는 반드시 이중 확인

2. 학습 데이터 안전성 관리 강화 – 외부 노출된 데이터나 공개 커뮤니티 활용 시 필터링 체계 도입

3. AI 서비스에 보안 게이트웨이 적용 – 생성형 AI와 연동된 시스템에는 반드시 보안 감시 장치 적용 

4. 
   

정부·산업계 공동 대응 필요

정보보호 산업계는 국정원 경고를 반영해, 기업 대상 보안교육, AI 학습자료 안전성 검수, AI 서비스 감시체계 강화를 주요 과제로 설정하고 있다. 특히 공공기관과 금융권에서는 AI 출력 검증 시스템 도입 논의가 본격화되고 있다.

생성형 AI는 편의성을 넘어 산업의 핵심 기술로 부상하고 있다. 하지만 기술이 발전할수록 그 허점을 악용하는 공격도 함께 진화한다. ‘AI 환각’은 단순한 기술 결함을 넘어 사회 전반의 보안 리스크로 확산되고 있다. 이제는 기술 신뢰성 확보를 위한 전방위적 대응이 필요한 시점이다.

AI 환각 현상은 일부 국가에서 정책적 무기이자 전략 도구로 활용되며, 이는 디지털 냉전의 실체를 드러내고 있어 민관 협력이 그 어느 때보다 절실하다.