AI 발전 속도 한계에 달했나…인터넷 데이터 고갈

하사비스 구글딥마인드 CEO 발전 정체 전망

LLM 대신하는 "시행착오 학습" 새 방식 개발 중

수학·과학 분야는 쉽지만 인간성·도덕은 어려워

[서울=뉴시스]미 인공지능회사 에어트레인 AI가 소개한 도표로 기존의 여러 AI 로고가 담겨 있다. (출처=에어트레인 AI 홈페이지) 2024.12.20. *재판매 및 DB 금지

[서울=뉴시스] 강영진 기자 = 오픈AI나 구글과 같은 인공지능(AI) 개발 기업들이 AI를 훈련하는데 필요한 데이터가 고갈되면서 AI의 빠른 발전이 저해될 수 있다고 미 뉴욕타임스(NYT)가 19일(현지시각) 보도했다.

인공지능 분야에서 가장 영향력이 큰 데미스 하사비스 구글 딥마인드 CEO가 AI가 최근 몇 년 만큼 빠르게 발전할 것으로 기대하지 말라고 경고했다.

AI 개발자들은 인터넷의 정보를 끌어 쓰면 발전을 지속할 수 있을 것으로 생각했다. 데이터가 많으면 많을수록 성능이 좋아지는 대언어모델(LLM)의 특성 때문이다.

그러나 노벨상 수상자인 하사비스가 데이터가 고갈돼 기존의 AI 개발 방식이 힘을 잃고 있다고 말한다.

하사비스 외에도 AI 발전이 늦어진다고 말하는 전문가들이 많다.

AI 기업 임원 및 연구자 20명이 AI 기업들이 몇 년 전에는 생각하지 못했던 문제에 봉착한 것으로 말한다. AI가 학습하는데 필요한 인터넷 문자 정보들이 거의 소진됐다는 것이다.

반면 AI 기업에 대한 투자는 여전히 활발하다. 지난 17일 AI 데이터 회사인 데이터브릭스(Databricks)가 100억 달러(약 14조5000억 원) 규모의 투자금 모집을 마감했다. 스타트업 기업이 모금한 최대 액수다. AI 대기업들도 데이터 센터 구축 투자를 줄일 계획이 없다.

오픈AI의 샘 올트먼 CEO는 발전 속도가 유지될 것이라고 말한다. 앤스로픽의 다리오 아모데이 CEO, 엔비디아 젠슨 황 CEO도 낙관적이다.

LLM이 끝없이 발전한다는 생각은 2020년 재러드 카플란 존스홉킨스대 교수가 처음 제시했다. 이른바 “규모의 법칙”이다. 학생들이 많은 책을 읽을수록 똑똑해지는 것처럼 AI도 많은 인터넷 데이터를 많이 학습하는 만큼 발전한다는 생각에서 오픈AI, 구글, 메타 등이 온갖 편법을 동원해 인터넷 데이터를 최대한 수집했다.

“규모의 법칙”은 “무어의 법칙”과 유사하다. 1960년대 인텔 설립자인 고든 무어가 2년 마다 반도체 집적도가 두 배로 늘어난다고 주장한 법칙으로 40년 동안 통용됐으나 지금은 발전 속도가 느려졌다.

규모의 법칙도 무어의 법칙도 자연 현상은 아니다. 단지 관찰 결과에 불과한 것이다. 무어의 법칙은 40년 동안 유효했지만 규모의 법칙은 유효기간이 훨씬 더 짧을 수도 있다. 구글도 앤스로픽도 AI가 학습할 데이터를 더 이상 찾지 못하고 있다.

하사비스는 기존의 AI 기술로 발전이 어느 정도 지속될 수 있을 것으로 전망한다. 그러나 LLM을 대신하는 완전히 새로운 개념이 제시되지 않는다면 AI가 인간 두뇌를 필적하기는 어려울 것으로 예상한다.

구글 및 오픈AI에서 연구자로 일하고 지난 봄 스타트업을 설립한 일리야 수츠케버도 같은 생각이다. “인터넷에만 의존하는 데이터 문제를 해결해야 한다”고 했다.

하사비스 박사 등은 LLM 모델이 자체의 시행착오를 통해 배우는 방법을 개발하고 있다. 예컨대 여러 가지 수학 문제를 풀게 하는 과정에서 어떤 해법이 맞고 어떤 해법이 틀리는 지를 LLM이 배우도록 하는 식이다. 요컨대 AI가 자신이 생성한 데이터, 일명 “합성 데이터(synthetic data)로 학습하게 하는 것이다.

오픈AI가 이런 방식으로 구축된 오픈AI 01이라는 AI를 발표했다. 문제는 이런 방식이 맞고 틀림이 명확한 수학이나 컴퓨터 프로그래밍과 같은 분야에서만 작동한다는 점이다.

나아가 이런 분야에서조차 AI는 실수를 하고 지어내기도 한다. 이는 AI의 핵심인 프로그램 작성 및 인터넷 대리 ”에이전트“를 구축하는데 방해가 된다.

인간의 모든 지식을 정리하는 일도 난제다.

세미어낼리시스의 분석책임자 딜런 파텔은 ”이런 방식들은 수학이나 과학처럼 경험적으로 옳음이 밝혀진 영역에서만 작동한다. 인간성, 예술, 도덕, 철학적 문제 등은 훨씬 어려운 분야“라고 말했다.

올트먼 AI CEO는 합성데이터를 사용하는 기술 등으로 AI가 지속적으로 발전할 것으로 예상한다. 그러나 발전 속도가 지체되면 그 파장이 매우 클 수밖에 없다. 예컨대 AI 산업의 총아인 엔비디아가 타격을 받게 된다.

황 엔비디아 CEO는 수요가 줄어드는 것에 대비해 새로운 AI 칩과 기술을 개발해 왔다고 밝혔다. 그 결과 여전히 수요는 막대하다고 강조했다.

그러나 레이첼 피터슨 메타 데이터 센터 부사장은 ”엄청난 투자가 이뤄지고 있는 상황이므로 문제가 실제로 가시화될 것인지 서둘러 파악해야 한다“고 말했다.


◎공감언론 뉴시스 [email protected]