LLM 추론 시, 단순 적재할 수 있는 모델 크기 비교

<참고사항>

​​​​

• 계산법(1): GPU 1개 당 메모리 용량 x 0.25 = 적재 가능한 모델 크기

​​

• 예) B200 메모리 용량 180GB x 0.25 = 45B

​​

• 계산법(2): 적재할 LLM 크기 x 4 byte (FP32는 파라미터 당 4byte 할당) = 필요한 메모리 용량

​​

• 예) 20B x 4 = 80GB

​​

• 계산법은 이론 상이며, 실제로 적재할 수 있는 LLM 크기는 최소 10%, 최대 30% 더 작습니다.

​

• RTX 6K* : RTX Pro 6000 Blackwell Server Edition (96GB)

​

• 실행 불가 또는 미 지원 시, LLM 모델 축소, 구조 최적화 또는 정밀도 변경 등 메모리 요구량을 낮추는 전략을 선택할 수 있습니다.

​

• 또는, 상위 버전으로 GPU를 업그레이드 하거나, 추가 탑재로 메모리 용량을 늘려 원하는 크기의 LLM 모델을 적재할 수 있습니다.

​

• 전체 GPU 서버 가격 페이지 또는 견적 요청 시 48시간 내 제공​ 페이지를 참고 바랍니다.