'챗GPT' 美 의사시험 통과 맞아?…곱셈도 못 푼다

한국 수능 시험은 영어 2등급, 수학 9등급

두자릿수 곱셈도 틀려…생성AI의 한계?

"요약·추론 기능 응용한 서비스는 무궁무진"

[서울=뉴시스] 오동현 기자 = 최근 연일 화제인 인공지능(AI) '챗GPT'가 미국 의사시험, 로스쿨, MBA 등 전문직 시험은 통과했는데 우리나라 대학수학능력시험 수리영역에선 낙제점을 받아 주목된다.

'챗GPT'가 장문을 요약하고 다음 상황을 추론하는 언어영역에선 준수한 실력을 보였지만, 수리 영역에선 요즘 초등학생도 풀 수 있는 두자릿수 곱셈도 틀리며 연산 능력에 한계를 보였다. 챗GPT는 방대한 데이터를 학습해 결과를 추론하고 제시하는 생성AI 모델이라, 답이 정해져 있는 여러 숫자의 조합으로 이뤄진 수학 문제를 푸는 덴 아직 무리가 있는 것이다.

6일 애나와 연세대학교 인공지능대학 김시호 교수 연구팀이 실제 수능 문제를 통해 챗GPT의 실력을 가늠한 결과, 영어는 2등급으로 준수했지만 수학은 9등급 수준으로 낙제점을 받았다.

이번 실험은 2023학년도 수능 문제에서 그림이 포함돼 문항의 입력이 불가능한 경우를 제외하고 문제 전체를 입력하고 답을 확인하는 방식으로 진행했다.

실험 결과에 따르면 영어 수능 시험에서 듣기 평가의 경우 16문제 중 14문제, 독해 평가는 17문제 중 13문제에 정답을 맞춰 합산 점수 82점을 취득했다. 수능 2등급 수준의 능력이다. 문단에 함축된 의미 추론, 요지 파악, 글의 목적과 주제 파악 등 난이도가 높은 문제에서는 모두 정답을 맞췄다.

반면 수학 시험에서는 상반된 결과가 나왔다. 공통 과목 분야에서는 20문제 중 6문제의 정답을 맞췄다. 특히 확률과 통계, 미적분학, 기하 분야의 문제는 전부 오답을 출력해 챗GPT의 수학 능력은 아직 현저히 부족한 것으로 나타났다. 기계학습 방법으로 수학을 배우는 챗GPT의 연산 능력은 한자리 숫자의 곱셈 정도는 풀지만 두 자리 숫자의 곱셈에서 오답을 낼 정도로 정확도가 떨어진다.

실제로 기자가 초등학생 수준의 곱셈 문제를 챗GPT에게 물어봤는데, 모두 오답을 내놨다. 

챗GPT는 수학뿐만 아니라, 일상적인 대화에서도 때때로 잘못된 정보를 제공하며 신뢰성과 정확성에 의문부호를 남기고 있다. 이는 챗GPT의 개발사 오픈AI에서 생성AI 개발을 이끄는 미라 무라티 오픈AI 최고기술책임자(CTO)도 인정하는 부분이다. 무라티 CTO는 5일(현지시간) 미국 타임지와의 인터뷰에서 "챗GPT는 다음에 나올 단어를 AI가 예측하도록 훈련됐다”며 "다른 언어형 AI 모델과 마찬가지로 챗GPT도 없는 사실을 지어낼 가능성이 있다는 한계가 있다”고 인정했다.

챗GPT는 대량의 학습 데이터를 기반으로 사람처럼 대답하는 생성AI 모델이다. 사람과 대화 시 다음에 나올 단어를 예측하도록 훈련돼 있어 추론이나 대화 요지 파악엔 능하지만, 정작 답이 정해져 있는 정형적인 결과를 도출하는 것엔 한계를 보인다. 수능 수학처럼 복잡한 연산은 학습돼 있지 않아 잘못된 답을 내놓는 것이다. 다양한 숫자의 조합으로 이뤄진 계산식과 답을 AI가 모두 학습하는 것이 아직은 불가능하다는 의견이 나온다.

이번 실험을 주도한 애나의 이상호 CTO는 " 챗GPT 같은 생성AI는 학습 데이터를 기반으로 답을 내놓기 때문에 연산 처리 능력은 부족하다. 정량적인 답을 제시해야 하는 시나리오에선 적합하지 않다"고 설명했다. 다만 그는 "문장에 대한 요약, 추론 등에 대해서는 매우 뛰어난 능력을 보이고 있으며 이런 요약, 추론 기능을 활용해 응용할 수 있는 서비스가 무궁무진할 것으로 보인다. 산업계에서는 이에 맞춰 인재 채용에 대한 요구사항이 머지않아 바뀌게 될 것"이라고 밝혔다.

연세대 공학교육혁신센터의 한경희 교수는 "멀지 않은 미래에 AI의 능력이 대학 신입생의 학습 능력 수준을 넘어서게 될 것"이라며 "AI와 동행하게 될 앞으로의 교육에서 새로운 교육 목적과 방법을 고민하지 않는다면, 미래사회에서 대학 교육은 존립의 근거를 잃게 될 지도 모른다"고 말했다.             

◎공감언론 뉴시스 [email protected]