top of page

LLM 파인튜닝 및 LoRA 학습 적합 GPU 비교

풀 파인 튜닝 및 LoRA 학습이 가능한 LLM 모델 크기를 비교합니다.

#01. 풀 파인 튜닝이 가능한 기초 LLM 모델 크기(BF16)

본 도표는 BF16 및 GPU 1장 기준으로 풀 파인 튜닝이 가능한 모델의 크기를 비교합니다.  

모델 크기

B300 (288GB)

B200 (180GB)

10B

​여유

가능

20B

부족

​불가

30B

​불가

​불가

70B

​불가

​불가

100B

​불가

​불가

200B

​불가

​불가

<참고사항>

​​​​

  • 계산법: 모델 파라미터 수(B) × 18 (파라미터 2byte + 기울기 2byte + 최적화 상태 14byte) = 필요 메모리 용량(GB).

​​​

  • 부족 / 불가 시, 모델 축소 / 구조 최적화를 통해 메모리 요구량을 낮추거나, GPU 추가 탑재로 물리적인 메모리 용량의 확보가 권장됩니다.

​​​

#02. 풀 파인 튜닝이 가능한 기초 LLM 모델 크기(BF16)

본 도표는 BF16 및 GPU 1장 기준으로 풀 파인 튜닝이 가능한 모델의 크기를 비교합니다.  

모델 크기

H200 (141GB)

H100 (80GB)

10B

부족

​불가

20B

​불가

​불가

30B

​불가

​불가

70B

​불가

​불가

100B

​불가

​불가

200B

​불가

​불가

<참고사항>

​​​

  • 계산법: 모델 파라미터 수(B) × 18 (파라미터 2byte + 기울기 2byte + 최적화 상태 14byte) = 필요 메모리 용량(GB).

  • 부족 / 불가 시, 모델 축소 / 구조 최적화를 통해 메모리 요구량을 낮추거나, GPU 추가 탑재로 물리적인 메모리 용량의 확보가 권장됩니다.

​​

#03. 풀 파인 튜닝이 가능한 기초 LLM 모델 크기(BF16)

본 도표는 BF16 및 GPU 1장 기준으로 풀 파인 튜닝이 가능한 모델의 크기를 비교합니다.  

모델 크기

RTX 6K (96GB)

L40S (48GB)

10B

​부족

​불가

20B

​불가

​불가

30B

​불가

​불가

70B

​불가

​불가

100B

​불가

​불가

200B

​불가

​불가

<참고사항>

​​​

  • 계산법: 모델 파라미터 수(B) × 18 (파라미터 2byte + 기울기 2byte + 최적화 상태 14byte) = 필요 메모리 용량(GB).

  • 부족 / 불가 시, 모델 축소 / 구조 최적화를 통해 메모리 요구량을 낮추거나, GPU 추가 탑재로 물리적인 메모리 용량의 확보가 권장됩니다.

​​

#04. LoRA 학습이 가능한 기초 LLM 모델 크기(BF16)

본 도표는 BF16 및 GPU 1장 기준으로 LoRA 학습이 가능한 모델의 크기를 비교합니다.  

모델 크기

B300 (288GB)

B200 (180GB)

10B

​여유

​여유

20B

​여유

​여유

30B

​여유

​여유

70B

​여유

부족

100B

부족

​불가

200B

​불가

​불가

<참고사항>

​​​

  • 계산법: 모델 파라미터 수 × 3 (모델 적재 2Byte 기준 2배수 + 학습용 가용 리소스 1배수) = 필요 메모리 용량(GB).

​​

  • 부족 / 불가 시, 모델 축소 / 구조 최적화를 통해 메모리 요구량을 낮추거나, GPU 추가 탑재로 물리적인 메모리 용량의 확보가 권장됩니다.

​​

#05. LoRA 학습이 가능한 기초 LLM 모델 크기(BF16)

본 도표는 BF16 및 GPU 1장 기준으로 LoRA 학습이 가능한 모델의 크기를 비교합니다.  

모델 크기

H200 (141GB)

H100 (80GB)

10B

여유

여유

20B

여유

​가능

30B

여유

부족

70B

부족

​불가

100B

​불가

​불가

200B

​불가

​불가

<참고사항>

​​​

  • 계산법: 모델 파라미터 수 × 3 (모델 적재 2Byte 기준 2배수 + 학습용 가용 리소스 1배수) = 필요 메모리 용량(GB).

  • 부족 / 불가 시, 모델 축소 / 구조 최적화를 통해 메모리 요구량을 낮추거나, GPU 추가 탑재로 물리적인 메모리 용량의 확보가 권장됩니다.

#06. LoRA 학습이 가능한 기초 LLM 모델 크기(BF16)

본 도표는 BF16 및 GPU 1장 기준으로 LoRA 학습이 가능한 모델의 크기를 비교합니다.  

모델 크기

RTX 6K (96GB)

L40S (48GB)

10B

여유

가능

20B

여유

부족

30B

가능

부족

70B

​불가

​불가

100B

​불가

​불가

200B

​불가

​불가

<참고사항>

​​​

  • 계산법: 모델 파라미터 수 × 3 (모델 적재 2Byte 기준 2배수 + 학습용 가용 리소스 1배수) = 필요 메모리 용량(GB).

  • 부족 / 불가 시, 모델 축소 / 구조 최적화를 통해 메모리 요구량을 낮추거나, GPU 추가 탑재로 물리적인 메모리 용량의 확보가 권장됩니다.

bottom of page