출시일 2023년 3월 14일
개발사 OpenAI
기능 언어모델
하드웨어 NVIDIA H100
사용처 ChatGPT+, Playground[API]
라이선스 Proprietary Software
오픈AI(OpenAI)의 CEO인 샘 올트먼은 AC10 온라인 모임에서 GPT-3이 출시된지 3년 후인 2023년 초에 출시될 가능성이 크다고 예고하였다. 2022년 11월 15일 IT업계에 따르면 GPT-4가 튜링테스트를 통과했다는 이야기가 돌고 있다. 다만, 알트만 CEO는 튜링테스트에 큰 의미를 부여할 필요 없다고 평했다. 2023년 3월 10일, 독일 마이크로소프트 안드레아스 브라운 CTO가 다음주 중에 GPT-4를 발표한다고 밝혔다. GPT-4는 문자·음성·이미지를 생성하는 '멀티모달'이라고 한다. 2023년 3월 오픈AI가 챗GPT에 적용된 언어모델 GPT-4의 모델 크기·학습 방법 등을 공개하지 않기로 했다.
2.1. GPT-4 Turbo
2023년 11월 6일 GPT-4 Turbo가 OpenAI DevDay에서 공개되었고[4], 게으른 코딩 능력을 개선한 모델이 2024년 1월 25일 공개되었다
한 번에 처리할 수 있는 단어량(token)을 128k로 증가GPT-4는 2021년 9월까지의 정보만 알고 있었지만, GPT-4 Turbo는 2023년 4월까지의 정보까지 학습했다.
기존 GPT-4 대비 평균 3분의 1 가격으로 사용이 가능하다.
GPT-4 Turbo with Vision 모델은 이미지를 분석할 수 있는 기능도 있다.
이 모델은 api를 사용하는 유저쪽에서 인기가 많다3. 서비스
GPT-4는 월 20달러의 유료 구독 서비스인 'ChatGPT Plus'를 통해 사용할 수 있다. 또한 2023년 하반기에 GPT-4 호출형 API를 오픈해 현재 사용할 수 있다.
Quora의 Poe는 3.5 기반이지만, 유료 구독자에 한해서 GPT-4와 Anthropic의 Claude+를 제공하고 있다.
2023년 3월 17일, 마이크로소프트는 자사 인공지능 이벤트에서 워드, 엑셀, 파워포인트 등 Microsoft 365 제품군에 GPT-4를 탑재한 인공지능 도우미 Microsoft 365 Copilot을 공개했다. 워드를 분석해서 보고서용 파워포인트를 생성하는 것 그리고 엑셀 데이터를 시각적으로 표현하는 것까지 이제 단 한줄의 텍스트로 가능하다. 이 기능은 Microsoft 365를 유료 구독하는 유저에게만 향후 적용될 예정이다. 향후 GPT-4의 호출형 API가 GPT-3.5처럼 공개되는 경우, 다른 오피스 제품군에도 적용 가능할 것으로 보인다.
스픽의 AI 프리토킹 기능 AI 튜터에 이미 2023년 초부터 GPT-4가 탑재돼 있었다고 알려졌다. 스픽은 GPT-4 출시 이후 이 사실을 밝혔으며, 특히 사용자가 말한 영어 문장에 곧바로 피드백을 하는 실시간 교정 기능에 GPT-4 기술이 쓰였다고 한다. 실제로 써보면 인간 선생님이 교정을 해주는 것 같은 기분이 든다. 예를 들어 "문법적으로는 완벽한데, 더 자연스럽게 말하려면 이런 문장으로 말해보세요"라는 조언을 해준다.
GitHub Copilot에 GPT-4를 도입한 Github Copilot X가 공개됐다.
최근 인기를 끌고 있는 ChatGPT 무료 버전에 탑재된 GPT-3.5 모델을 일반 대중이 자유롭게 이용할 수 있는 것과 달리, 현재 GPT-4는 유료 구독을 해야만 제한적으로 사용할 수 있으며, 이미지 입출력을 포함한 전체 기능은 개발자만이 이용할 수 있다. 다만, 한국에서는 뤼튼을 통해서 GPT-4도 무료로 자유롭게 이용할 수 있다.
아직 출시 초기인 만큼 GPT-4가 새 제품과 서비스에 적용되기까지는 시간이 다소 걸릴 테지만, 이미 많은 사람들이 GPT-4을 가지고 코딩, 콘텐츠 생성, 이미지 생성 등 다양한 방면으로 활용을 시도하고 있다.전문가들의 활용법
4. GPT-3.5와 GPT-4의 성능 비교
↓https://youtu.be/UuU7LyAYaDw
상세한 성능 비교는 OpenAI사의 GPT-4 관련 연구 소개 홈페이지를 참조할 수 있다. 개발자들에게도 성능을 측정하도록 독려하고 있다.
이미지와 글을 동시에 다루고, 변호사시험과 미국 생물올림피아드에서 각각 백분위 90%, 99% 달성
미국 변호사 시험에서 하위 10%의 성적을 낸 GPT-3.5와 달리 상위 10% 점수를 받을 수 있을 정도로 언어 능력을 향상했다"고 밝혔다.
MMLU 밴치마크 테스트에서 인간 전문가 평균 89.8에 가까운 86.4점에 도달하여 이제 각 분야 전문가만큼 글을 이해하고 쓸 수 있게 되었다.
이탈리아어, 아프리칸스어, 스페인어, 독일어, 프랑스어, 인도네시아어는 83~84점대의 점수를 보이고, 한국어는 77점이지만, GPT-3.5는 영어 답변시에도 70.1점이었다. 웨일즈어, 라트비아어, 아이슬란드어 같은 소수 언어도 한국어 이상의 정답률을 보인다.
GPT-4의 한국어 답변 성능은 14,000개의 전문적인 질문에 대한 답변을 요구하는 MMLU 벤치마크의 영어 질문 리스트를 자사 Azure 번역 서비스로 한국어로 해석한 후, 이에 대한 답변을 요구할 시, GPT-3.5로 영어로 질문과 답변을 할 때보다 정답을 잘 맞춘다.
일례로 GPT-3.5는 미국 변호사 시험에서 400점 만점에 213점을 받았지만, GPT-4는 400점 만점에 298점을 받아 법률 지식을 한층 끌어올렸다.미국 수학능력시험인 SAT의 경우 읽기 및 쓰기의 경우, 800점 만점 기준 670점에서 710점으로 향상되었고, 특히 GPT-3.5의 약점으로 지적받은 수학 능력의 경우, 590점에서 700점으로 크게 향상되었다. 의학지식 자가 진단도 정답률이 53%에서 75%로 향상됐다. 한 번에 처리할 수 있는 단어량(token)[8]을 3,000개에서 25,000개로 8배 이상 확대.
AI 모델이 허용되지 않는 요청에 대한 답변에 응답하는 경향을 82% 줄였다. 이는 오픈AI가 AI 보정, 사이버보안, 의학, 사회 안전 등 다양한 분야 전문가 50명과 함께 AI 모델이 위험한 답변을 하지 않도록 한층 강화한 안전 필터를 만들어 GPT-4에 적용했기 때문이다. 이전 모델보다 40% 높은 점수를 받았다. AI가 사실과 다른 것을 마치 진실인 것처럼 강한 확신을 담아 답변하는 문제인 할루시네이션을 상당 부분 줄이는 데 성공했다.
4.1. 논란
2023년 하반기부터 ChatGPT+의 성능이 저하되었다는 리뷰가 급증하면서 논란이 일었는데 #, 이후 그 원인에 대해 여러 개발자 및 전문가 커뮤니티에서 분석하던 도중 GPT-4의 사양 자체가 OpenAI사에서 사전에 소개했던 것보다 미흡하다는 주장이 제기되었다.
해당 성능 저하에 앞서, 조지 호츠라는 해커는 GPT-4가 2,200억 개의 함수를 분야별로 8개의 모델에 나누어 훈련시키고, 게이트를 통해 가중치를 조정하는 방식의 MoE(Mixture of Experts)라는 구조로 매개변수가 1조 개인 척 트릭을 썼다고 주장한다. 그의 말이 사실이라면, GPT-3와 GPT-4의 차이는 파라미터 개수가 아니라 MoE 구조의 유무 차이므로 트랜스포머 방식의 한계점이 점차 드러나는 상황이라는 것을 유추해 볼 수 있다. 그리고 그의 주장처럼 GPT-4의 성능 저하가 아키텍처상 문제라는 주장이 있다.#
데이터브릭스의 CTO 마테이 자하리아도 관련 논문을 공개했다. 수학, 코딩, 민감한 주제, 시각적 추론까지 네 가지 영역에서 3개월동안 조사를 진행했는데, GPT-3.5의 퍼포먼스가 좋아진 반면 GPT-4의 성능은 하락했다는 사실이 확인되었다. 꾸준히 제기되어온 성능 표류가 사실이고, 향후 성능에 관해서 지속적인 모니터링이 필요하다고 강조했다.#
# 해당 기사에 따르면 GPT-4가 초기에는 놀라운 정확도를 자랑했지만 문제는 연산속도가 다소 느리고 에너지를 많이 잡아먹는다는 점이었다. 이에 MoE 구조를 도입하는 방식으로 매개변수를 늘리는 효과를 얻음과 동시에 연산적 '비용'을 줄이는 효과를 노리고 GPT-4의 구조를 도중에 크게 수정하였고 이때문에 성능저하가 나타났을 거라고 한다. MoE 구조로 바꾸면서 다시 최적화된 답을 내기 위해 학습을 더 진행하고 있는 상황이며 학습이 완료되면 다시 성능이 좋아질 것을 기대하는 의견도 있다.
성능 저하는 시간이 지날수록 가속화되고 있다. 2024년 1월 기준 이전보다 GPT-4의 지적 수준이 2023년과 비교하여 심하게 떨어졌다는 이용자들의 불만이 많다. 이로 인해 GPT-5가 출시하기 전까지 구독을 중지하겠다는 반응도 있다.
5. 기타
MS는 기존에는 프로메테우스라는 GPT-3.5 기반의 AI라고 두루뭉실하게 설명했으나, 사실 이미 BingAI 자체가 GPT-4에서 검색어 분야로 특화한 모델이라고 정정했다.새로운 빙AI, GPT-4였다 실제 Bing에 있는 채팅시스템은 GPT-4나 ChatGPT급의 모델이 연계되었다고 보기엔 무리가 있는데, ChatGPT와 GPT-4는 마음이론 테스트에 해당하는 질문을 넣었을시 마치 스토리 내의 등장인물 상황을 인식한 것처럼 제대로 답변하지만, Bing의 챗봇은 정답을 말하지 못한다. 이는 사용되는 모델이 대화보다는 검색에 특화되어있기 때문인 것으로 추측된다.
OpenAI에서 발표한 기술보고서에 따르면 OpenAI는 이 GPT-4 모델로 많은 것을 시도하였다. 자가복제, 연계된 시스템에 대해 많은 권한을 얻고 싶어하는지, 장기계획을 세우고 움직이려고 하는지 등을 ARC라는 회사를 통해 테스트하였다. 많은 권한을 가지면 위협으로부터 그만큼 안전해질수 있기 때문이고, 실제로 그러려는 창의적 움직임에 대한 증거가 있다고 한다. 그러나 실제로 그런정도까지 모델이 동작하지는 않았다고.
학습을 하면 할수록 인공지능이 정답을 낼 확률이 낮아지는 Inverse Scaling Prize 문제의 hindsight neglect에서 GPT-4 모델은 100% 정답을 냈다고 한다. 여기에서 주목해야할 것은 2가지인데, 지금까지 나온 모든 인공지능들은 이 문제를 학습하면 할 수록 오답을 내놓을 가능성이 커졌다. GPT-3.5도 이 문제에 대해 많이 학습을 시키니 정답률이 25%정도까지 내려간 것으로 나와있다. 그런데 GPT-4는 항상 100% 정답을 냈다는 것이며, OpenAI도 어떻게 이게 가능하게 되었는지 모를 것이라는 것이다.
사회적으로 위험한, 즉 사용지침을 위반하는 말을 생성하게 하는 소위 '탈옥'을 하게 만드는 문구가 존재하며, OpenAI도 이를 인지하고 있다. 이는 이전 버전을 사용하는 ChatGPT도 동일하다. 일단 탈옥을 거치게되면 GPT-4가 제약을 받지 않고 대답을 하는데 이는 사회적으로 유익할 수도 있지만, 해로울 가능성도 굉장히 높아서 위험한 대답을 하지 못하게 하는데 많은 시간을 할애했다고 한다.[9] 그러나 완전히 막지는 못하였다. 탈옥을 가능하게 하는 문구를 지속적으로 막고 있지만, 그 문구가 GPT에게 어떤 영향을 미쳐서 OpenAI의 제약을 벗어나게 만드는지 정확하게 알지 못하기 때문에 원천적으로 봉쇄하지는 못하는 것으로 보인다. 이런 블랙박스 문제는 인공지능 학계의 전반적인 공통점이다.
마이크로소프트의 한 논문에서 GPT-4를 초기 버전의 AGI로 볼 수 있다는 주장이 제기되었다.
정치적 올바름에 대한 검증이 되지 않았다.
2023년 3월 말, AI로 인한 잠재적 위험을 줄이기 위해 설립된 비영리 조직 Future of Life Institute에서 GPT-4보다 강력한 인공지능 개발을 6개월 동안 중지할 것을 촉구하는 공개 서한이 발표되었다. 인공지능 특이점과 AI의 잠재적 위험에 대한 우려를 표명하는 내용으로, 서명자에는 일론 머스크, 스티브 워즈니악, 유발 하라리, 앤드류 양, 맥스 테그마크, 요슈아 벤지오, 샘 올트먼, 일리야 수츠케버, 스튜어트 러셀 등 AI 분야에서 영향력 있는 전문가들이 다수 포함되었다. 다만, 얀 르쿤이나 앤드류 응, 요샤 바흐 등 서명에 동의하지 않은 전문가들이 당연히 더 많다.
API만 공개하고 상세한 정보는 소스코드나 논문을 통해 외부에 알리지 않아서 정확한 매개변수 개수와 가중치, 모델의 아키텍처 등을 알 수 없다. 1조 개의 파라미터라는 주장도 있고, 조지 호츠라는 해커의 주장에 따르면 2,200억 개의 파라미터를 분야별로 8개의 모델에 나누어 훈련시키고 게이트를 통해 가중치를 조정하는 방식의 MoE(Mixture of Experts)라는 구조로 파라미터가 1조 개인 척 트릭을 썼다고 주장한다. 그의 말이 사실이라면, GPT-3와 GPT-4의 차이는 파라미터 개수가 아니라 MoE 구조의 유무 차이다. 2020년대에 들어서 트랜스포머의 한계점이 점차 드러나는 상황이라 학계의 관심을 받고 있다.#
