#이미지: Rubin(루빈) x 8장이 탑재된 NVIDIA HGX Rubin x 8 GPU 보드
비교표 목록
* Tip: 목록을 클릭하면 해당 비교표로 이동, TOP 버튼을 클릭하면 상단으로 올라옵니다.
#01. 학습 시, 적재할 수 있는 LLM 모델 크기 (FP32 기준)
LLM AI 학습 시, FP32 정밀도 기준으로, NVIDIA GPU 1장에, 적재할 수 있는 최대 LLM 모델의 크기를 비교합니다.
1. 계산공식(1) : 파라미터(B) × 20(weight 4+grad 4+optimizer 12) = 필요 메모리 용량(GB) 또는,
2. 계산공식(2) : GPU 1개 당 메모리 용량(GB) 나누기(÷) 20 = 적재 가능한 LLM 모델 크기
3. 본 수치는 이론 상 최대이며, 실제로 적재 가능한 모델의 크기는 약 20~30% 감소합니다.
4. 실행 불가 또는 미 지원 시, LLM 모델 축소, 구조 최적화 또는 정밀도 변경 등으로 메모리 요구량을 낮추거나 또는, 상위 버전으로 GPU를 업그레이드 하거나, 추가 탑재로 메모리 용량을 늘려 원하는 크기의 LLM 모델을 적재할 수 있습니다.
5. 탑재수량별 GPU 서버 가격표 | 실시간 문의하기 | 48시간 내 견적서 제공 서비스를 참고 바랍니다.
#02. 학습 시, 적재할 수 있는 LLM 모델 크기 (FP16 기준)
LLM AI 학습 시, FP16 정밀도 기준으로, NVIDIA GPU 1장에, 적재할 수 있는 최대 LLM 모델의 크기를 비교합니다.
1. 계산공식(1) : 파라미터(B) × 10(weight 2+grad 2+optimizer 6) = 필요 메모리 용량(GB) 또는,
2. 계산공식(2) : GPU 1개 당 메모리 용량(GB) 나누기(÷) 10 = 적재 가능한 LLM 모델 크기
3. 본 수치는 이론 상 최대이며, 실제로 적재 가능한 모델의 크기는 약 20~30% 감소합니다.
4. 실행 불가 또는 미 지원 시, LLM 모델 축소, 구조 최적화 또는 정밀도 변경 등으로 메모리 요구량을 낮추거나 또는, 상위 버전으로 GPU를 업그레이드 하거나, 추가 탑재로 메모리 용량을 늘려 원하는 크기의 LLM 모델을 적재할 수 있습니다.
5. 탑재수량별 GPU 서버 가격표 | 실시간 문의하기 | 48시간 내 견적서 제공 서비스를 참고 바랍니다.
#03. 학습 시, 적재할 수 있는 LLM 모델 크기 (FP8 기준)
LLM AI 학습 시, FP8 정밀도 기준으로, NVIDIA GPU 1장에, 적재할 수 있는 최대 LLM 모델의 크기를 비교합니다.
1. 계산공식(1) : 파라미터(B) × 5(weight 1+grad 1+optimizer 3) = 필요 메모리 용량(GB) 또는,
2. 계산공식(2) : GPU 1개 당 메모리 용량(GB) 나누기(÷) 5 = 적재 가능한 LLM 모델 크기
3. 본 수치는 이론 상 최대이며, 실제로 적재 가능한 모델의 크기는 약 20~30% 감소합니다.
4. 실행 불가 또는 미 지원(A100은 FP8 미 지원) 시, LLM 모델 축소, 구조 최적화 또는 정밀도 변경 등으로 메모리 요구량을 낮추거나 또는, 상위 버전으로 GPU를 업그레이드 하거나, 추가 탑재로 메모리 용량을 늘려 원하는 크기의 LLM 모델을 적재할 수 있습니다.
5. 탑재수량별 GPU 서버 가격표 | 실시간 문의하기 | 48시간 내 견적서 제공 서비스를 참고 바랍니다.
적재 가능한 LLM 크기, 질문이 더 있으세요?
질문, 요청 등 메세지를 남겨주시면 빠르게 답변 드립니다.
대략적인 가격은 탑재수량별 GPU 서버 가격 페이지를 참고 바랍니다.
퀀텀브릭스는 고객사 및 파트너의 AI 비지니스를 지원합니다.