조회 수 5214 추천 수 0 댓글 0
제가 알기로 70b 같은 모델을 돌리려면 GPU의 VRAM 이 많이 필요하다고 알고 있습니다.
정확히 최소 사양은 잘 모릅니다만..
그런데 rtx 4090만 하더라도 24GB가 전부라서 불가능하다고 들었구요..
a6000 같은 그래픽카드를 사용하지 않는한,
차라리 Silicon Mac 종류에서 RAM을 64GB 나 128GB 로 구매하는것이 더 낫다고들 하는데..
이게 맞는 말인가요?
예를들어 llama 3.3 70b 모델이라면 어떤 하드웨어를 구매해야 하는건가요?
