파인튜닝 시, 적재 가능한 LLM 크기는?
풀 파인 튜닝 및 LoRA 학습 시, 적재 가능한 최대 LLM 모델의 크기는 해당 GPU 제품의 메모리 용량을 기준으로 산출됩니다.
FP32, FP16, FP8 및 NVIDIA GPU 1장 기준으로 풀 파인 튜닝 시, 적재 가능한 최대 LLM 모델의 크기를 비교하고,
더불어, FP32, FP16, FP8 및 GPU 1장 기준으로 LoRA 학습 시, 적재 가능한 최대 LLM 모델의 크기를 비교합니다.
AI R&D 및 프로젝트에 적합한 GPU 서버 및 인프라 구축에 참고 바랍니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급합니다.
#이미지: 엔비디아 루빈(Rubin) 8장이 탑재된 HGX Rubin 8 이미지
비교표 목록
* Tip: 목록을 클릭하면 해당 비교표로 이동, TOP 버튼을 클릭하면 상단으로 올라옵니다.
#01. 풀 파인 튜닝 시, 적재할 수 있는 LLM 모델 크기(FP32)
FP32 및 엔비디아 GPU 1장 기준으로 풀 파인 튜닝 시, 적재 가능한 최대 LLM 모델의 크기를 비교합니다.
구분
적재 가능 LLM 크기
Rubin (288GB)
대략 8.0B
B300 (288GB)
대략 8.0B
B200 (180GB)
대략 5.0B
H200 (141GB)
대략 3.9B
H100 (94GB)
대략 2.6B
A100 (80GB)
대략 2.2B
L40S (48GB)
대략 1.3B
RTX 6K* (96GB)
대략 2.6B
<참고사항>
-
계산법: 모델 파라미터 수(B) × 36 (파라미터 4byte + 기울기 4byte + 최적화 상태 28byte) = 필요 메모리 용량(GB) 또는,
-
GPU 메모리 용량 나누기(÷) 36 = 적재 가능 최대 LLM 모델 크기
-
실제 학습 시에는 데이터 길이나 배치 크기에 따라 메모리가 추가로 소모되므로, 안정적인 구동이 가능한 실제 모델 크기는 표기된 수치보다 대략 10% 에서 20% 정도 더 작을 수 있습니다.
-
RTX 6K* : RTX Pro 6000 Blackwell Server Edition (96GB)
-
실행 불가 또는 미 지원 시, LLM 모델 축소, 구조 최적화 또는 정밀도 변경 등 메모리 요구량을 낮추는 전략을 선택할 수 있습니다.
-
또는, 상위 버전으로 GPU를 업그레이드 하거나, 추가 탑재로 메모리 용량을 늘려 원하는 크기의 LLM 모델을 적재할 수 있습니다.
-
탑재수량별 GPU 서버 가격 또는 48시간 내 견적 서비스 페이지를 참고 바랍니다.
#02. 풀 파인 튜닝 시, 적재할 수 있는 LLM 모델 크기(FP16)
FP16 및 엔비디아 GPU 1장 기준으로 풀 파인 튜닝 시, 적재 가능한 최대 LLM 모델의 크기를 비교합니다.
구분
적재 가능 LLM 크기
Rubin (288GB)
대략 16.0B
B300 (288GB)
대략 16.0B
B200 (180GB)
대략 10.0B
H200 (141GB)
대략 7.8B
H100 (94GB)
대략 5.2B
A100 (80GB)
대략 4.4B
L40S (48GB)
대략 2.6B
RTX 6K* (96GB)
대략 5.3B
<참고사항>
-
계산법: 모델 파라미터 수(B) × 18 (파라미터 2byte + 기울기 2byte + 최적화 상태 14byte) = 필요 메모리 용량(GB) 또는,
-
GPU 메모리 용량 나누기(÷) 18 = 적재 가능 최대 LLM 모델 크기
-
실제 학습 시에는 데이터 길이나 배치 크기에 따라 메모리가 추가로 소모되므로, 안정적인 구동이 가능한 실제 모델 크기는 표기된 수치보다 대략 10% 에서 20% 정도 더 작을 수 있습니다.
-
RTX 6K* : RTX Pro 6000 Blackwell Server Edition (96GB)
-
실행 불가 또는 미 지원 시, LLM 모델 축소, 구조 최적화 또는 정밀도 변경 등 메모리 요구량을 낮추는 전략을 선택할 수 있습니다.
-
또는, 상위 버전으로 GPU를 업그레이드 하거나, 추가 탑재로 메모리 용량을 늘려 원하는 크기의 LLM 모델을 적재할 수 있습니다.
-
탑재수량별 GPU 서버 가격 또는 48시간 내 견적 서비스 페이지를 참고 바랍니다.
#03. 풀 파인 튜닝 시, 적재할 수 있는 LLM 모델 크기(FP8)
FP8 및 엔비디아 GPU 1장 기준으로 풀 파인 튜닝 시, 적재 가능한 최대 LLM 모델의 크기를 비교합니다.
구분
적재 가능 LLM 크기
Rubin (288GB)
대략 32.0B
B300 (288GB)
대략 32.0B
B200 (180GB)
대략 20.0B
H200 (141GB)
대략 15.6B
H100 (94GB)
대략 10.4B
A100 (80GB)
FP8 미 지원
L40S (48GB)
대략 5.3B
RTX 6K* (96GB)
대략 10.6B
<참고사항>
-
계산법: 모델 파라미터 수(B) × 9 (파라미터 1byte + 기울기 1byte + 최적화 상태 7byte) = 필요 메모리 용량(GB) 또는,
-
GPU 메모리 용량 나누기(÷) 9 = 적재 가능 최대 LLM 모델 크기
-
실제 학습 시에는 데이터 길이나 배치 크기에 따라 메모리가 추가로 소모되므로, 안정적인 구동이 가능한 실제 모델 크기는 표기된 수치보다 대략 10% 에서 20% 정도 더 작을 수 있습니다.
-
RTX 6K* : RTX Pro 6000 Blackwell Server Edition (96GB)
-
실행 불가 또는 미 지원 시, LLM 모델 축소, 구조 최적화 또는 정밀도 변경 등 메모리 요구량을 낮추는 전략을 선택할 수 있습니다.
-
또는, 상위 버전으로 GPU를 업그레이드 하거나, 추가 탑재로 메모리 용량을 늘려 원하는 크기의 LLM 모델을 적재할 수 있습니다.
-
탑재수량별 GPU 서버 가격 또는 48시간 내 견적 서비스 페이지를 참고 바랍니다.
#04. LoRA 학습 시, 적재할 수 있는 LLM 모델 크기(FP32)
FP32 및 엔비디아 GPU 1장 기준으로 LoRA 학습 시, 적재 가능한 최대 LLM 모델의 크기를 비교합니다.
구분
적재 가능 LLM 크기
Rubin (288GB)
대략 48B
B300 (288GB)
대략 48B
B200 (180GB)
대략 30B
H200 (141GB)
대략 23B
H100 (94GB)
대략 15.6B
A100 (80GB)
대략 13.3B
L40S (48GB)
대략 8B
RTX 6K* (96GB)
대략 16B
<참고사항>
-
계산법: 모델 파라미터 수 x 6 (기초 모델 적재 1배수 + LoRA 어댑터 및 학습 리소스 5배수) = 필요 메모리 용량(GB) 또는,
-
GPU 메모리 용량 나누기(÷) 6 = 적재 가능 최대 LLM 모델 크기
-
실제 구동 시에는 학습 데이터와 가동 리소스에 따른 여유 메모리가 필요하므로, 안정적인 학습이 가능한 실제 모델 크기는 표기된 수치보다 대략 10% 에서 20% 정도 더 작을 수 있습니다.
-
RTX 6K* : RTX Pro 6000 Blackwell Server Edition (96GB)
-
실행 불가 또는 미 지원 시, LLM 모델 축소, 구조 최적화 또는 정밀도 변경 등 메모리 요구량을 낮추는 전략을 선택할 수 있습니다.
-
또는, 상위 버전으로 GPU를 업그레이드 하거나, 추가 탑재로 메모리 용량을 늘려 원하는 크기의 LLM 모델을 적재할 수 있습니다.
-
탑재수량별 GPU 서버 가격 또는 48시간 내 견적 서비스 페이지를 참고 바랍니다.
#05. LoRA 학습 시, 적재할 수 있는 LLM 모델 크기(FP16)
FP16 및 엔비디아 GPU 1장 기준으로 LoRA 학습 시, 적재 가능한 최대 LLM 모델의 크기를 비교합니다.
구분
적재 가능 LLM 크기
Rubin (288GB)
대략 96B
B300 (288GB)
대략 96B
B200 (180GB)
대략 60B
H200 (141GB)
대략 47B
H100 (94GB)
대략 31.3B
A100 (80GB)
대략 26.6B
L40S (48GB)
대략 16B
RTX 6K* (96GB)
대략 32B
<참고사항>
-
계산법: 모델 파라미터 수 x 3 (기초 모델 적재 1배수 + LoRA 어댑터 및 학습 리소스 2배수) = 필요 메모리 용량(GB) 또는,
-
GPU 메모리 용량 나누기(÷) 3 = 적재 가능 최대 LLM 모델 크기
-
실제 구동 시에는 학습 데이터와 가동 리소스에 따른 여유 메모리가 필요하므로, 안정적인 학습이 가능한 실제 모델 크기는 표기된 수치보다 대략 10% 에서 20% 정도 더 작을 수 있습니다.
-
RTX 6K* : RTX Pro 6000 Blackwell Server Edition (96GB)
-
실행 불가 또는 미 지원 시, LLM 모델 축소, 구조 최적화 또는 정밀도 변경 등 메모리 요구량을 낮추는 전략을 선택할 수 있습니다.
-
또는, 상위 버전으로 GPU를 업그레이드 하거나, 추가 탑재로 메모리 용량을 늘려 원하는 크기의 LLM 모델을 적재할 수 있습니다.
-
탑재수량별 GPU 서버 가격 또는 48시간 내 견적 서비스 페이지를 참고 바랍니다.
#06. LoRA 학습 시, 적재할 수 있는 LLM 모델 크기(FP8)
FP8 및 엔비디아 GPU 1장 기준으로 LoRA 학습 시, 적재 가능한 최대 LLM 모델의 크기를 비교합니다.
구분
적재 가능 LLM 크기
Rubin (288GB)
대략 192B
B300 (288GB)
대략 192B
B200 (180GB)
대략 120B
H200 (141GB)
대략 94B
H100 (94GB)
대략 62.6B
A100 (80GB)
FP8 미 지원
L40S (48GB)
대략 32B
RTX 6K* (96GB)
대략 64B
<참고사항>
-
계산법: 모델 파라미터 수 x 1.5 (기초 모델 적재 1배수 + LoRA 어댑터 및 학습 리소스 0.5배수) = 필요 메모리 용량(GB) 또는,
-
GPU 메모리 용량 나누기(÷) 1.5 = 적재 가능 최대 LLM 모델 크기
-
실제 구동 시에는 학습 데이터와 가동 리소스에 따른 여유 메모리가 필요하므로, 안정적인 학습이 가능한 실제 모델 크기는 표기된 수치보다 대략 10% 에서 20% 정도 더 작을 수 있습니다.
-
RTX 6K* : RTX Pro 6000 Blackwell Server Edition (96GB)
-
실행 불가 또는 미 지원 시, LLM 모델 축소, 구조 최적화 또는 정밀도 변경 등 메모리 요구량을 낮추는 전략을 선택할 수 있습니다.
-
또는, 상위 버전으로 GPU를 업그레이드 하거나, 추가 탑재로 메모리 용량을 늘려 원하는 크기의 LLM 모델을 적재할 수 있습니다.
-
탑재수량별 GPU 서버 가격 또는 48시간 내 견적 서비스 페이지를 참고 바랍니다.
엔비디아 GPU, 어떤 제품을 선택해야 하나요?
NVIDIA GPU 1장에 올릴 수 있는 LLM 모델의 크기는 메모리 용량을 기준으로 계산됩니다.
메모리 용량 / 대역폭 비교표
파인튜닝 가능 LLM 크기
전력소모량 비교표
추론 성능(TPS) 비교표
학습 가능 LLM 크기
RAG 시스템 구축
연산 성능(FLOPS) 비교표
추론 가능 LLM 크기
2가지 타입 GPU 비교
탑재수량별 GPU 서버 사양 및 가격표
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급하여 고객사 및 파트너의 AI 비지니스를 지원합니다.
파트 #A. NVIDIA 직접 제조 제품
* Tip: 항목을 클릭하면 사양 및 가격으로 이동합니다.
NVIDIA DGX B200, B300 시리즈 등은 엔비디아가 직접 설계 및 제조한 AI 전용 완제품 GPU 서버입니다.
엔비디아 스타트업 프로그램에 가입하면, DGX 시리즈 구매 시, 최대 30%까지 할인을 받을 수 있습니다.
자세한 사항은 각 제품 상세 페이지, 최대 48시간 내 견적서 제공 및 실시간 문의하기를 참고 바랍니다.
파트 #B. HPE, Dell 등 벤더 제조 제품
* Tip: 항목을 클릭하면 사양 및 가격으로 이동합니다.
* RTX 6K : RTX Pro 6000 Blackwell Server Edition
문의하기
메세지를 남겨주시면 빠르게 답변 드립니다.
대략적인 가격은 탑재수량별 GPU 서버 가격 페이지를 참고 바랍니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급하여, 고객사 및 파트너의 AI 비지니스 확산을 빠르게 지원합니다.