LLM 추론 시, 단순 적재할 수 있는 모델 크기

<참고사항>

​​​​

• 계산법: GPU 1개 당 메모리 용량 x 2 = 해당 GPU 1장에 적재 가능한 있는 모델 크기

​

• 예) H200 메모리 용량 141GB x 2 = 282B

​

• 계산법(2): 적재할 LLM 크기 x  0.5 byte (FP4는 파라미터 당 0.5 byte) = 필요한 메모리 용량

​

• 예) 70B x 0.5 = 35GB

​

• 계산법은 이론 상이며, 실제로 적재할 수 있는 LLM 크기는 최소 10%, 최대 30% 더 작습니다.

​

• L40S, A100, H100, H200은 FP4 하드웨어 가속을 지원하지 않으므로, 양자화 전략 또는 B200 등 업그레이드가 필요합니다.

​

• 더 큰 모델의 적재가 필요할 경우, 모델 축소 / 구조 최적화를 통해, 메모리 요구량을 낮추거나, GPU 추가 탑재가 권장됩니다.

​​

• 전체 GPU 서버 가격 페이지 또는 견적 요청 시 48시간 내 제공​ 페이지를 참고 바랍니다.