미디어젠, NIA 사업 수주…AI 전문지식 학습 데이터 구축

52억원 규모 '분야별 한국어 멀티세션 데이터 구축 사업'

기술과학, 사회과학, 일상대화 가능한 AI 챗봇 개발 목적

미디어젠 컨소시엄이 '분야별 한국어 멀티세션 데이터 구축 사업’에 선정됐다고 5일 밝혔다. (사진=미디어젠 제공) *재판매 및 DB 금지

[서울=뉴시스] 오동현 기자 = 미디어젠 컨소시엄은 전문 지식 분야의 사용자 질문에 대해서도 인공지능(AI) 챗봇이 정확한 정보를 제공할 수 있도록 하는 ‘분야별 한국어 멀티세션 데이터 구축 사업’에 선정됐다고 5일 밝혔다.

이번 사업은 ‘과학기술정보통신부’가 주관하고 ‘한국지능정보사회진흥원(NIA)’이 추진하는 2023년도 AI 학습용 데이터 구축 사업의 하나로, 생성형 AI 챗봇을 통해 전문 지식을 바탕으로 상세한 답변을 제공할 수 있도록 한다.

미디어젠 컨소시엄은 ▲비디 ▲메트릭스 ▲코리아퍼스텍 ▲한알음정보 ▲이즈테크놀로지 등 6개 전문 기업으로 구성됐으며, 주관·참여 기관 모두가 NIA의 AI 학습용 데이터 사업 진행 경험을 보유한 전문 기업들로 구성됐다. 이번 과제에서 각 컨소시엄 참여 기업은 AI 데이터 설계, 품질 관리, 전문 지식 문서 아카이브 구축, 데이터 정제 및 가공, 데이터 검수, 공정 관리, AI 모델 생성 및 평가 등 양질의 데이터 구축을 위한 역할을 분담한다.

이번 사업의 목적은 챗GPT 등과 같은 질의응답 대화 능력을 탑재한 ‘한국형 생성형 AI 챗봇’을 개발할 수 있도록 한국어 데이터를 구축하는 것이다. 특히 일반인들이 답변하기 어려운 전문 지식 분야의 데이터를 대량으로 구축한다.

이를 위해 기술과학, 사회과학, 일상대화의 전문 지식이 담긴 전문 문서 약 25만건을 자체 아카이브에 디지털화해 저장하며, 챗봇 대화의 다양한 주제에 대해 정확한 정보를 제공할 수 있게 된다. 또 오랜 시간이 지난 뒤에도 이전 대화를 기억해 대화를 이어갈 수 있는 챗봇 알고리즘을 통해 더 친밀한 대화가 이뤄질 수 있다.

이번 사업에서는 총 18만건 규모의 멀티세션 데이터를 구축할 예정이다. 어떤 주제를 갖고 대화를 시작할 때부터 대화가 끝날 때까지를 하나의 세션이라고 칭하며, 멀티세션은 이런 세션이 둘 이상으로 이뤄진 것을 뜻한다. 각 세션 사이에는 몇 시간에서 몇 주일까지 시간 차이가 생길 수 있기 때문에 AI 챗봇이 이전 대화 내용을 기억할 수 있도록 모델링하는 게 중요하다.

윤종성 미디어젠 AI 연구소 부소장은 “최근 생성형 AI 챗봇 기술에 대한 관심이 높아지고 있으며, 사업에서 구축되는 데이터도 한국형 AI 챗봇의 개발에 크게 기여할 것이라고 기대된다”며 “대화 데이터와 함께 질의응답에 사용된 다양한 주제의 전문 문서도 함께 제공되므로 여러 영역에서 지식을 주고받는 AI 챗봇의 확대를 기대할 수 있을 것”이라고 말했다.

분야별 한국어 멀티세션 데이터 구축은 올해 연말까지 진행되며, 구축이 완료된 뒤에는 NIA가 운영하는 AI-허브를 통해 모든 데이터가 일반에 공개될 예정이다.


◎공감언론 뉴시스 [email protected]