오픈AI의 차세대 주력 모델인 'GPT-5', 일명 '오라이온'이 상당한 출시 지연을 겪고 있다는 보도가 등장했다. 대부분 내용은 이미 알려진 것이지만, 새 모델 출시를 위해 사전훈련을 두번이나 진행했다는 사실이 밝혀졌다.

월스트리트저널(WSJ)은 20일(현지시간) 익명의 내부 관계자를 인용, 오픈AI가 오라이온 프로젝트에서 잇따라 문제에 부딪혔으며 이 때문에 출시가 계속 지연되고 있다고 전했다.

이에 따르면 오픈AI는 18개월 이상 새로운 모델 개발에 매달렸지만, GPT-4에 비해 기대했던 만큼의 성능 발전을 이루지는 못했다. GPT-5라는 이름을 붙일 만큼 충분히 똑똑한지 여부는 주로 직감이나 많은 기술자들이 말하는 분위기에 따라 결정되는 데, 지금까지는 분위기가 좋지 않은 것으로 전해졌다. 

또 추론 모델을 통합하려는 노력에도 불구하고, 전반적인 발전 속도는 예상보다 느려 인공지능(AI) 개발이 정체기에 접어들었다는 우려를 낳고 있다는 내용이다. 

대부분은 지난달 9일 디 인포메이션이 보도한 내용과 일치한다. GPT 모델 개선 속도 둔화에 따라 오픈AI가 전략을 변경, 사전 훈련으로 모델 성능을 대폭 끌어올리는 것보다 사후 강화학습이나 추론 기능 강화에 초점을 맞춘다는 내용이다. 이 소식 이후로 대형언어모델(LLM)의 '스케일링 법칙'이 한계에 달했다는 것이 정설로 굳어졌다.

그러나 이번 소식 중에는 오픈AI가 그동안 최소 2번이나 사전 훈련을 반복 진행했다는 내용이 포함됐다. 각 사전 훈련은 약 6개월이 걸렸으며, 훈련 비용은 각각 5억달러(약 7250억원)에 달하는 것으로 알려졌다.

이전 모델보다 성능이 향상된 것은 맞지만, 총 10억달러(약 1조4500억원)를 투입한 것에 비해 거둔 성과는 적다는 설명이다.

출처 : AI타임스(https://www.aitimes.com)