인포 그래픽=이노바저널 디자인

과학기술정보통신부는 7월 17일부터 국내 독자 인공지능 기초모형(AI 파운데이션 모델)의 성능을 평가하기 위한 ‘성능 평가 데이터셋 구축 사업’을 본격적으로 추진한다고 밝혔다.

이번 사업은 한국지능정보사회진흥원(NIA)과 함께 국내 AI 모델의 정확한 성능 진단을 위한 데이터를 확보하기 위한 것으로, 총 24억 원의 예산이 투입된다. 분야별로 수학, 지식, 장문 이해 등 3가지 데이터셋이 구축되며, 과제당 8억 원이 지원된다.

그간 AI 모델 평가는 주로 영어 기반으로 진행되어 국내 실정과 문화적 맥락을 충분히 반영하지 못한다는 지적이 있었다. 이에 따라 과기정통부는 한국어 및 국내 환경을 고려한 데이터셋 구축을 통해 성능 평가 기준의 현지화를 추진하고 있다.

선정된 컨소시엄은 2025년 말까지 ▲거대언어모델의 수학 풀이 능력(수학), ▲한국형 지식에 대한 질의-정답 및 추론형 데이터(지식), ▲장문 문맥 기반 업무수행 능력 평가(장문 이해)를 위한 고품질 데이터를 구축하게 된다.

각 데이터셋은 평가 기준에 맞춰 구체적인 예시와 수량 기준까지 제시되었다. 예를 들어 장문 이해 분야는 32K 이상 또는 128K 이상의 토큰 단위 문서로 구성된 고난도 전문 문항을 포함해야 하며, 논리적 흐름과 인과관계 판단 등의 업무 수행 능력을 평가할 수 있는 항목도 포함되어야 한다.

이번에 구축되는 데이터셋은 정부 주도 독자 AI 개발 프로젝트인 ‘정예팀’을 비롯한 다양한 국내 AI 개발 기관에 공개되어 활용될 예정이다.

접수 기간은 8월 7일까지이며, 지원 자격은 대규모 데이터셋 기반 인공지능 개발 역량을 갖춘 기관이 포함된 컨소시엄이다. 접수는 디지털제안서 통합관리시스템(propose.nia.or.kr)을 통해 온라인으로 진행된다.