가톨릭대 김강민 교수팀, 시험문제 난이도 예측 AI 개발

[부천=뉴시스] 정일형 기자 = 가톨릭대 김강민 교수팀이 개발한 문제 난이도 예측 시스템(LLaSA) 개요도. (사진은 부천시 제공)

[부천=뉴시스] 정일형 기자 = 가톨릭대학교(총장 원종철) 데이터사이언스학과(인공지능학과 겸무) 김강민 교수 연구팀은 최근 챗GPT와 같은 초거대 언어모델(LLM)을 활용해 학생들에게 시험 문제를 선보이기 전, 각 문제별 예상 난이도를 효과적으로 예측하고 배점을 돕는 인공지능(AI) 기술을 개발했다고 28일 밝혔다.

이번 연구 결과는 지난 12일 미국 마이애미에서 개최된 세계 최고 권위의 자연어처리 학회 ‘EMNLP(Empirical Methods in Natural Language Processing) 2024’에서 포스터 발표를 통해 첫 공개됐고, ‘EMNLP 2024 Findings’ 논문집에 게재되며 우수성을 높이 평가 받았다.

그 동안 많은 교육기관에서 시험 문제를 출제하고 배점을 부과할 때, 출제자의 정성적 평가에 의존하는 경우가 많아 실제 학생들이 해당 문제를 마주했을 때 느끼는 난이도를 반영하기 어려웠다.

이를 보완하기 위해 학생들의 방대한 문제 풀이 기록 데이터를 바탕으로 문항별 난이도를 측정하고 점수 배점을 달리하는 문항 반응 이론(IRT, Item Response Theory)이 TEPS 등의 시험에 활용돼 왔으나, 학생들의 문제 풀이 기록을 사전에 수집해야만 적용 가능하다는 한계가 있었다.

이에 가톨릭대 김강민 교수 연구팀은 학생 집단의 문제 풀이 기록 수집 과정을 65개 초거대 언어모델(LLM)로 대체해, 학생에게 사전에 문제를 노출하지 않고도 대상 학생 집단의 수준에 따른 실제 체감 난이도를 성공적으로 예측할 수 있는 AI 시스템(LLaSA) 개발에 나섰다.

이번에 개발 성공한 문제 난이도 예측 시스템(LLaSA)은 초거대 언어모델에 문항 반응 이론을 적용해 문제 난이도 예측 성능을 높였다. 이를 위해 연구팀은 다양한 분야와 형식의 문제를 풀 수 있는 65개의 초거대 언어모델 중 실제 학생의 능력 정보와 가장 유사한 것으로 선정된 언어모델이 학생을 대신해 시험 문제를 풀도록 했다.

이후 초거대 언어모델의 문제 풀이 기록을 바탕으로 문항별 난이도에 따라 점수 배점을 달리해, 실제 시험 이전에 효과적으로 문항 배점을 설정할 수 있도록 했다.

연구 결과, 연구팀이 개발한 문제 난이도 예측 시스템은 문제의 내용만을 분석하는 기존 AI 기반 방법론 보다 문제 난이도 예측 성능이 8~23% 높은 것으로 나타났다. 또 학생 집단의 구성 변화에도 언어모델 구성을 조정하며 유연하게 대응할 수 있어 범용성이 월등히 높을 것으로 밝혀졌다.

김강민 교수는 "이번 연구로 학생들의 문제 풀이 능력을 초거대 언어모델을 활용해 효과적으로 모사할 수 있다는 것이 확인됐다"며 "이번 연구 결과를 바탕으로 교육현장에서 보다 더 과학적이고 선진화된 문제 난이도 예측 시스템이 적용돼 시험 변별력을 높일 수 있을 것으로 기대된다"고 말했다.


◎공감언론 뉴시스 [email protected]