"변덕 심한 사용자 맞춰 척척" KAIST, 연속 학습 AI 개발

이재길 교수팀, 다양한 데이터 변화 적응 기술

국제학술대회서 발표, 최대 14%의 정확도 향상

[대전=뉴시스] KAIST에서 개발한 적응적 프롬프팅 방법론의 AI 동작 개념도. 과거 지식을 잊지 않고 신규 지식을 취득할 수 있도록 프롬프트를 유지해 인공지능 모델에 전달한다.(사진=KAIST 제공) *재판매 및 DB 금지

[대전=뉴시스] 김양수 기자 = 사용자의 관심이 급변하더라도 기존 지식을 유지하며 새로운 지식을 축적해 인공지능 연속 학습을 가능케 하는 기술이 한국과학기술원(KAIST)에 의해 개발됐다.

KAIST는 전산학부 이재길 교수팀이 다양한 데이터 변화에 적응하며 새로운 지식을 학습함과 동시에 기존 지식을 망각하지 않는 새로운 연속 학습(continual learning) 기술을 개발했다고 5일 밝혔다.

최근 연속 학습은 훈련비용을 줄일 수 있는 프롬프트(prompt) 기반 방식이 대세를 이루고 있다. 각 작업에 특화된 지식을 프롬프트에 저장하고 적절한 프롬프트를 입력 데이터에 추가해 심층신경망에 전달, 과거 지식을 효과적으로 활용한다.

이번에 이재길 교수팀은 기존 접근방식과 다르게 작업 간의 다양한 변화정도에 적응할 수 있는 '적응적 프롬프팅(adaptive prompting)'에 기반한 연속 학습기술을 제시했다.
 
학습하려는 작업이 기존 학습했던 작업과 유사하면 새로운 프롬프트를 생성하지 않고 그 작업에 할당된 프롬프트에 추가로 지식을 축적한다.

이는 완전히 새로운 작업이 입력될 때만 새로운 프롬프트를 생성토록 하고 새로운 작업이 들어올 때마다 클러스터링이 적절한지 검사해 최적의 클러스터링 상태를 유지토록 하는 방식이다.

연구팀은 이미지 분류 문제에 대해 작업 간 다양한 변화 정도를 갖는 실세계 데이터를 사용해 새 방법론을 검증한 결과, 기존 프롬프트 기반 연속 학습 방법론에 비해 작업 간의 변화 정도가 항상 큰 환경에서는 최대 14%의 정확도 향상을 달성했고 작업 간의 변화가 클 수도 있고 작을 수도 있는 환경에서는 최대 8%의 정확도 향상을 기록했다.

또한 제안한 방법에서 유지하는 클러스터 개수가 실제 유사한 작업의 그룹 개수와 거의 같아 온라인 클러스터링을 수행하는 비용이 매우 작아 대용량 데이터에도 쉽게 적용할 수 있음을 확인했다.

KAIST 전산학부 김도영 박사과정 학생이 제1 저자, 이영준·방지환 박사과정 학생이 제4, 제6 저자로 각 참여한 이번 연구는 지난달 열린 최고권위 국제학술대회 '국제머신러닝학회(ICML) 2024'에서 발표됐다.(논문명:One Size Fits All for Semantic Shifts: Adaptive Prompt Tuning for Continual Learning)

이재길 교수는 "연속 학습 분야의 새로운 지평을 열 만한 획기적인 방법"이라며 "실용화 및 기술이전이 이뤄지면 심층 학습 학계, 산업계에 큰 파급효과를 낼 수 있을 것"이라고 말했다.


◎공감언론 뉴시스 [email protected]