비교표 목록
* Tip: 목록을 클릭하면 해당 비교표로 이동, TOP 버튼을 클릭하면 목록 / 상단으로 올라옵니다.
#01. 풀 파인 튜닝이 가능한 기초 LLM 모델 크기(BF16)
본 도표는 BF16 및 GPU 1장 기준으로 풀 파인 튜닝이 가능한 모델의 크기를 비교합니다.
모델 크기
B300 (288GB)
B200 (180GB)
10B
여유
가능
20B
부족
불가
30B
불가
불가
70B
불가
불가
100B
불가
불가
200B
불가
불가
<참고사항>
-
계산법: 모델 파라미터 수(B) × 18 (파라미터 2byte + 기울기 2byte + 최적화 상태 14byte) = 필요 메모리 용량(GB).
-
부족 / 불가 시, 모델 축소 / 구조 최적화를 통해 메모리 요구량을 낮추거나, GPU 추가 탑재로 물리적인 메모리 용량의 확보가 권장됩니다.
-
B300 GPU 서버 가격 또는, B200 GPU 서버 가격 페이지를 참고 바랍니다.
-
GPU 선택 / 비교표: 연산 성능 비교표, 추론 성능 비교표, 메모리 용량 및 대역폭 비교표 등을 참고 바랍니다.
#02. 풀 파인 튜닝이 가능한 기초 LLM 모델 크기(BF16)
본 도표는 BF16 및 GPU 1장 기준으로 풀 파인 튜닝이 가능한 모델의 크기를 비교합니다.
모델 크기
H200 (141GB)
H100 (80GB)
10B
부족
불가
20B
불가
불가
30B
불가
불가
70B
불가
불가
100B
불가
불가
200B
불가
불가
<참고사항>
-
계산법: 모델 파라미터 수(B) × 18 (파라미터 2byte + 기울기 2byte + 최적화 상태 14byte) = 필요 메모리 용량(GB).
-
부족 / 불가 시, 모델 축소 / 구조 최적화를 통해 메모리 요구량을 낮추거나, GPU 추가 탑재로 물리적인 메모리 용량의 확보가 권장됩니다.
-
H200 GPU 서버 가격 페이지를 참고 바랍니다.
-
GPU 선택 / 비교표: 연산 성능 비교표, 추론 성능 비교표, 메모리 용량 및 대역폭 비교표 등을 참고 바랍니다.
#03. 풀 파인 튜닝이 가능한 기초 LLM 모델 크기(BF16)
본 도표는 BF16 및 GPU 1장 기준으로 풀 파인 튜닝이 가능한 모델의 크기를 비교합니다.
모델 크기
RTX 6K (96GB)
L40S (48GB)
10B
부족
불가
20B
불가
불가
30B
불가
불가
70B
불가
불가
100B
불가
불가
200B
불가
불가
<참고사항>
-
계산법: 모델 파라미터 수(B) × 18 (파라미터 2byte + 기울기 2byte + 최적화 상태 14byte) = 필요 메모리 용량(GB).
-
부족 / 불가 시, 모델 축소 / 구조 최적화를 통해 메모리 요구량을 낮추거나, GPU 추가 탑재로 물리적인 메모리 용량의 확보가 권장됩니다.
-
L40S 탑재 GPU 서버 가격 또는, RTX 6000 탑재 GPU 서버 가격 페이지를 참고 바랍니다.
-
GPU 선택 / 비교표: 연산 성능 비교표, 추론 성능 비교표, 메모리 용량 및 대역폭 비교표 등을 참고 바랍니다.
#04. LoRA 학습이 가능한 기초 LLM 모델 크기(BF16)
본 도표는 BF16 및 GPU 1장 기준으로 LoRA 학습이 가능한 모델의 크기를 비교합니다.
모델 크기
B300 (288GB)
B200 (180GB)
10B
여유
여유
20B
여유
여유
30B
여유
여유
70B
여유
부족
100B
부족
불가
200B
불가
불가
<참고사항>
-
계산법: 모델 파라미터 수 × 3 (모델 적재 2Byte 기준 2배수 + 학습용 가용 리소스 1배수) = 필요 메모리 용량(GB).
-
부족 / 불가 시, 모델 축소 / 구조 최적화를 통해 메모리 요구량을 낮추거나, GPU 추가 탑재로 물리적인 메모리 용량의 확보가 권장됩니다.
-
B300 GPU 서버 가격 또는, B200 GPU 서버 가격 페이지를 참고 바랍니다.
-
GPU 선택 / 비교표: 연산 성능 비교표, 추론 성능 비교표, 메모리 용량 및 대역폭 비교표 등을 참고 바랍니다.
#05. LoRA 학습이 가능한 기초 LLM 모델 크기(BF16)
본 도표는 BF16 및 GPU 1장 기준으로 LoRA 학습이 가능한 모델의 크기를 비교합니다.
모델 크기
H200 (141GB)
H100 (80GB)
10B
여유
여유
20B
여유
가능
30B
여유
부족
70B
부족
불가
100B
불가
불가
200B
불가
불가
<참고사항>
-
계산법: 모델 파라미터 수 × 3 (모델 적재 2Byte 기준 2배수 + 학습용 가용 리소스 1배수) = 필요 메모리 용량(GB).
-
부족 / 불가 시, 모델 축소 / 구조 최적화를 통해 메모리 요구량을 낮추거나, GPU 추가 탑재로 물리적인 메모리 용량의 확보가 권장됩니다.
-
H200 GPU 서버 가격 페이지를 참고 바랍니다.
-
GPU 선택 / 비교표: 연산 성능 비교표, 추론 성능 비교표, 메모리 용량 및 대역폭 비교표 등을 참고 바랍니다.
#06. LoRA 학습이 가능한 기초 LLM 모델 크기(BF16)
본 도표는 BF16 및 GPU 1장 기준으로 LoRA 학습이 가능한 모델의 크기를 비교합니다.
모델 크기
RTX 6K (96GB)
L40S (48GB)
10B
여유
가능
20B
여유
부족
30B
가능
부족
70B
불가
불가
100B
불가
불가
200B
불가
불가
<참고사항>
-
계산법: 모델 파라미터 수 × 3 (모델 적재 2Byte 기준 2배수 + 학습용 가용 리소스 1배수) = 필요 메모리 용량(GB).
-
부족 / 불가 시, 모델 축소 / 구조 최적화를 통해 메모리 요구량을 낮추거나, GPU 추가 탑재로 물리적인 메모리 용량의 확보가 권장됩니다.
-
L40S 탑재 GPU 서버 가격 또는, RTX 6000 탑재 GPU 서버 가격 페이지를 참고 바랍니다.
-
GPU 선택 / 비교표: 연산 성능 비교표, 추론 성능 비교표, 메모리 용량 및 대역폭 비교표 등을 참고 바랍니다.