프렌들리AI, 초거대 AI 모델 추론 효율 높이는 '오르카 시스템' 공개

글로벌 컴퓨터시스템 학회인 'OSDI 2022'에 발표

[서울=뉴시스]이진영 기자 = 초거대 인공지능(AI) 개발 플랫폼 페리플로우(PeriFlow)를 제공하는 스타트업 프렌들리AI가 GPT-3 등 초거대 AI 모델의 효율을 끌어올리는 '오르카(Orca) 시스템'을 13일 발표했다.

프렌들리AI에 따르면 오르카는 초거대 AI 모델의 효율적인 추론을 가능하게 하는 서빙 시스템이다. 기존 서빙 시스템에서 일어나던 비효율적인 지연을 없애기 위해 '반복 단위 스케줄링'과 '선택적 배치 처리'라는 핵심 기술을 적용했다.

기존 시스템이 가장 목마를 오래 타고 싶은 사람이 만족할 때까지 아무도 회전목마에서 내리거나 올라탈 수 없도록 하는 방식이었다면, 오르카는 매번 회전목마가 돌 때마다 사람들이 내리거나 올라탈 수 있게 하여 더 효율적이고 만족도 높은 운행이 가능하도록 한다는 것이다.

이를 통해 기존에 사용되던 시스템보다 수십 배 이상 빠른 속도로 초거대 언어 모델의 생성 작업을 수행할 수 있다.

특히 초거대 언어 모델을 사용하기 위한 비용이 수십 배나 줄어들어 이용자들의 접근성도 향상시킬 수 있을 것으로 기대된다. 프렌들리AI는 오르카를 사용하는 초거대 AI 서비스를 제공하고 있다.

이러한 연구 결과는 이날 컴퓨터시스템 분야 최상위 학회인 OSDI (Operating Systems Design and Implementation) 2022 학회에서 'Orca: A Distributed Serving System for Transformer-Based Generative Models'이라는 제목으로 발표됐다.

전병곤 프렌들리AI 대표는 "AI기술연구재단 오픈AI가 개발한 GPT-3 등의 초거대 모델을 잘 활용하기 위해선 데이터 수집 및 모델 학습뿐만 아니라 모델 사용 시 시스템의 효율을 최대한 끌어올리는 것이 중요하다"면서 "이번 연구가 초거대 모델이 다양한 제품에 실제로 널리 활용될 수 있는 계기가 되기를 기대한다"라고 말했다.

한편 프렌들리AI는 누구나 쉽고 빠르게 대규모 AI 개발이 가능하도록 돕는 플랫폼 '페리플로우'를 제공하는 스타트업이다. 페리플로우는 대규모 AI 모델의 학습부터 추론을 수행하기까지 전 과정을 자동화하는 클라우드 기반 플랫폼이다. 프렌들리AI에서는 페리플로우를 사용해 130억개의 매개변수를 활용하는 대규모 언어 모델 'GPT-FAI 13B'를 직접 학습해서 공개한 바 있다.

전병곤 대표는 2000년대 후반부터 인텔, 야후, 마이크로소프트, 페이스북, 서울대학교에서 대규모 머신러닝 시스템 연구를 수행했다. 또 뛰어난 연구 실적으로 국내 최초로 미국 컴퓨터 협회 SIGOPS 명예의 전당에 오르고, 유럽시스템협회(EuroSys)로부터 과거 10년간 가장 영향력 있는 논문상을 받았다.


◎공감언론 뉴시스 [email protected]