↓https://twitter.com/nicholasmalaya/status/1743384719851418108

 

프론티어 슈퍼컴퓨터를 사용해 챗GPT-4에 필적하는 1조 매개변수를 지닌 LLM을 교육했습니다. 

 

하지만 이건 프론티어의 일부만 사용한 것입니다. 인스팅트 MI250X 37000개 중에서 3천개만 썼거든요. 

 

대규모 LLM 교육에서 중요한 건 메모리 용량입니다. 최소 14TB 가 필요하다고 지적합니다. MI250X는 64GB 메모리가 있고, 이를 병렬 구성해야 합니다. 여기에선 학습 프로그램이 더욱 효율적으로 실행되도록 손을 봤다고 하네요.