LLM 학습 시, 단순 적재할 수 있는 모델 크기 비교

#01. 학습 시, GPU 1장에 적재할 수 있는 모델 크기(FP32)

FP32 및 엔비디아 GPU 1장을 기준으로 학습 시, 단순 적재할 수 있는 최대 LLM 모델의 크기를 비교합니다.  

<참고사항>

​​​

• 계산법(1) : 파라미터(B) × 20(weight 4+grad 4+optimizer 12) = 필요 메모리 용량(GB) 또는,

​​​

• 계산법(2) : GPU 1개 당 메모리 용량(GB) 나누기(÷) 20 = 적재 가능한 LLM 모델 크기

​

• RTX 6K* : RTX Pro 6000 Blackwell Server Edition (96GB)

​

• 본 수치는 이론 상 최대이며, 실제로 적재 가능한 모델의  크기는 약 20~30% 감소합니다.

​

• 실행 불가 또는 미 지원 시, LLM 모델 축소, 구조 최적화 또는 정밀도 변경 등 메모리 요구량을 낮추는 전략을 선택할 수 있습니다.

​

• 또는, 상위 버전으로 GPU를 업그레이드 하거나, 추가 탑재로 메모리 용량을 늘려 원하는 크기의 LLM 모델을 적재할 수 있습니다.

​

• 탑재수량별 GPU 서버 가격 또는 48시간 내 견적 서비스 페이지를 참고 바랍니다.