조회 수 675 추천 수 0 댓글 0
단축키
Prev이전 문서
Next다음 문서
단축키
Prev이전 문서
Next다음 문서
↓https://twitter.com/nicholasmalaya/status/1743384719851418108
프론티어 슈퍼컴퓨터를 사용해 챗GPT-4에 필적하는 1조 매개변수를 지닌 LLM을 교육했습니다.
하지만 이건 프론티어의 일부만 사용한 것입니다. 인스팅트 MI250X 37000개 중에서 3천개만 썼거든요.
대규모 LLM 교육에서 중요한 건 메모리 용량입니다. 최소 14TB 가 필요하다고 지적합니다. MI250X는 64GB 메모리가 있고, 이를 병렬 구성해야 합니다. 여기에선 학습 프로그램이 더욱 효율적으로 실행되도록 손을 봤다고 하네요.
