추론 성능과 처리 속도, 왜 중요한가요?
추론 속도, TPS(초당 토큰 생성 수)는 얼마나 빨리 답을 내느냐를 직접적으로 보여주는 수치입니다.
사용자 체감 성능: TPS는 AI 서비스의 품질(QoS)을 결정하는 중요한 척도로, TPS가 낮으면 응답이 끊기거나 느리게 출력돼 서비스 품질이 저하되고 사용자는 떠납니다.
처리량과 직결: TPS가 높을수록 더 많은 사용자를 커버할 수 있고, 인프라 대비 서비스 규모를 키우기 쉬워집니다.
비용 효율 결정: 동일한 작업을 더 빠르게 끝낼수록 GPU 점유 시간이 줄어들어 단위 작업당 비용이 낮아집니다. 반대로 TPS가 낮으면 같은 결과를 얻는 데 더 많은 시간과 자원이 필요합니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급합니다.
#이미지: Rubin GPU 2장 및 Vera CPU 1장이 탑재된 Rubin 슈퍼칩 이미지
비교표 목록
* Tip: 목록을 클릭하면 해당 비교표로 이동, TOP 버튼을 클릭하면 상단으로 올라옵니다.
추론 성능 TPS 구간별 사용자 체감 속도
TPS (Tokens Per Second) 수치별로 체감되는 서비스의 속도감을 비교합니다.
TPS
체감 속도
실제 사용자 느낌
10
읽기 좋은 속도
눈으로 따라가며 읽기 편함, AI 서비스 최소 권장 기준
30
빠른 속도
시원하게 출력, 기다리는 느낌 없음, AI 서비스의 목표
50
매우 빠른 속도
문단 전체가 1~2초 만에 쏟아져 나옴, 순식간에 답변
100
즉시 응답 수준
엔터를 치자마자 한 페이지가 화면에 한꺼번에 뿌려짐
200
실시간 한계 초월
측정의 의미가 없음, 인간이 인지하는 한계 초월
<참고사항>
-
일반적으로 성인의 평균 묵독(눈으로 읽기) 속도가 초당 약 5~10 토큰 정도입니다.
-
실제 AI 서비스의 마지노선 : 5~8 TPS 이하로 떨어지면 사용자는 답변이 끊긴다고 느끼며 답답함을 호소하기 시작합니다.
-
비즈니스 효율 구간: 30~50 TPS 정도만 확보되어도 사용자 만족도는 최상위에 도달합니다.
-
전체 GPU 서버 가격 페이지 또는 견적 요청 시 48시간 내 제공 페이지를 참고 바랍니다.
#01. 8B 모델 기준, 추론 성능 및 서비스 처리 속도(FP16)
LLM 모델 8B, FP16 및 엔비디아 GPU 1장 기준으로 모델이 사용자(1명)의 질문에 얼마나 빠르게 답변하는지 비교합니다.
구분
메모리 대역폭
추론 속도(TPS)
Rubin
22.0TB/s
1,375
B300
8.0TB/s
500
B200
8.0TB/s
500
H200
4.8TB/s
300
H100
3.9TB/s
243
A100
1.9TB/s
118
L40S
0.864TB/s
56
RTX 6K*
1.597TB/s
99
<참고사항>
-
계산법(1) : 메모리 대역폭(GB로 환산) 나누기(÷) 메모리 요구량 = TPS
-
계산법(2) : 메모리 요구량 = 파라미터 수(B) x 2 byte (FP16은 파라미터 당 2 byte)
-
예) H200 대역폭 4,800GB ÷ 16GB (8B x 2) = 300TPS
-
TPS(Tokens Per Second)는 "AI가 1초 당 얼마나 많은 토큰(단어 조각)을 생성해내는가" 를 의미합니다.
-
TPS 수치는 대역폭을 100% 활용한다는 가정하에, 이론적으로 도달 가능한 최대 토큰 생성 속도입니다.
-
실제 서비스 환경에서는 KV 캐시 메모리 점유, 커널 오버헤드, 배치 사이즈 설정 등에 따라 더 높거나 또는 낮아질 수 있습니다.
-
RTX 6K* : RTX Pro 6000 Blackwell Server Edition (96GB)
-
본 도표는 NVIDIA 홈페이지 및 데이터시트를 기준으로 작성됐습니다.
-
전체 GPU 서버 가격 페이지 또는 견적 요청 시 48시간 내 제공 페이지를 참고 바랍니다.
#02. 30B 모델 기준, 추론 성능 및 서비스 처리 속도(FP16)
LLM 모델 30B, FP16 및 엔비디아 GPU 1장 기준으로 모델이 사용자(1명)의 질문에 얼마나 빠르게 답변하는지 비교합니다.
구분
메모리 대역폭
추론 속도(TPS)
Rubin
22.0TB/s
366
B300
8.0TB/s
133
B200
8.0TB/s
133
H200
4.8TB/s
80
H100
3.9TB/s
65
A100
1.9TB/s
31
L40S
0.864TB/s
실행 불가
RTX 6K*
1.597TB/s
26
<참고사항>
-
계산법(1) : 메모리 대역폭(GB로 환산) 나누기(÷) 메모리 요구량 = TPS
-
계산법(2) : 메모리 요구량 = 파라미터 수(B) x 2 byte (FP16은 파라미터 당 2 byte)
-
예) H200 대역폭 4,800GB ÷ 60GB (30B x 2) = 80TPS
-
TPS(Tokens Per Second)는 "AI가 1초 당 얼마나 많은 토큰(단어 조각)을 생성해내는가" 를 의미합니다.
-
TPS 수치는 대역폭을 100% 활용한다는 가정하에, 이론적으로 도달 가능한 최대 토큰 생성 속도입니다.
-
실제 서비스 환경에서는 KV 캐시 메모리 점유, 커널 오버헤드, 배치 사이즈 설정 등에 따라 더 높거나 또는 낮아질 수 있습니다.
-
실행이 불가능한 이유: GPU 1장당 탑재된 VRAM 용량이 30B 모델 구동에 필요한 최소 메모리 요구량(FP16 기준 약 60GB)보다 작아 구동 시 메모리 용량 초과(Out Of Memory)가 발생하기 때문입니다.
-
실행 불가의 경우, 모델 축소 / 구조 최적화를 통해, 메모리 요구량을 낮추거나, GPU 추가 탑재가 권장됩니다.
-
RTX 6K* : RTX Pro 6000 Blackwell Server Edition (96GB)
-
본 도표는 NVIDIA 홈페이지 및 데이터시트를 기준으로 작성됐습니다.
-
전체 GPU 서버 가격 페이지 또는 견적 요청 시 48시간 내 제공 페이지를 참고 바랍니다.
#03. 70B 모델 기준, 추론 성능 및 서비스 처리 속도(FP16)
LLM 모델 70B, FP16 및 엔비디아 GPU 1장 기준으로 모델이 사용자(1명)의 질문에 얼마나 빠르게 답변하는지 비교합니다.
구분
메모리 대역폭
추론 속도(TPS)
Rubin
22.0TB/s
157
B300
8.0TB/s
57
B200
8.0TB/s
57
H200
4.8TB/s
실행 불가
H100
3.9TB/s
실행 불가
A100
1.9TB/s
실행 불가
L40S
0.864TB/s
실행 불가
RTX 6K*
1.597TB/s
실행 불가
<참고사항>
-
계산법(1) : 메모리 대역폭(GB로 환산) 나누기(÷) 메모리 요구량 = TPS
-
계산법(2) : 메모리 요구량 = 파라미터 수(B) x 2 byte (FP16은 파라미터 당 2 byte)
-
예) B200 대역폭 8,000GB ÷ 140GB (70B x 2) = 57.14TPS
-
TPS(Tokens Per Second)는 "AI가 1초 당 얼마나 많은 토큰(단어 조각)을 생성해내는가" 를 의미합니다.
-
TPS 수치는 대역폭을 100% 활용한다는 가정하에, 이론적으로 도달 가능한 최대 토큰 생성 속도입니다.
-
실제 서비스 환경에서는 KV 캐시 메모리 점유, 커널 오버헤드, 배치 사이즈 설정 등에 따라 더 높거나 또는 낮아질 수 있습니다.
-
실행이 불가능한 이유: GPU 1장 당 탑재된 VRAM 용량이 70B 모델 구동에 필요한 최소 메모리 요구량(FP16 기준 약 140GB)보다 작거나 거의 비슷해서, 구동 시 메모리 용량 초과(Out Of Memory)가 발생하기 때문입니다.
-
실행 불가의 경우, 모델 축소/구조 최적화를 통해, 메모리 요구량을 낮추거나, GPU 추가 탑재가 권장됩니다.
-
RTX 6K* : RTX Pro 6000 Blackwell Server Edition (96GB)
-
본 도표는 NVIDIA 홈페이지 및 데이터시트를 기준으로 작성됐습니다.
-
전체 GPU 서버 가격 페이지 또는 견적 요청 시 48시간 내 제공 페이지를 참고 바랍니다.
#04. 8B 모델 기준, 추론 성능 및 서비스 처리 속도(FP8)
LLM 모델 8B, FP8 및 엔비디아 GPU 1장 기준으로 모델이 사용자(1명)의 질문에 얼마나 빠르게 답변하는지 비교합니다.
구분
메모리 대역폭
추론 속도(TPS)
Rubin
22.0TB/s
2,750
B300
8.0TB/s
1,000
B200
8.0TB/s
1,000
H200
4.8TB/s
600
H100
3.9TB/s
487
A100
1.9TB/s
FP8 미 지원
L40S
0.864TB/s
108
RTX 6K*
1.597TB/s
199
<참고사항>
-
계산법(1) : 메모리 대역폭(GB로 환산) 나누기(÷) 메모리 요구량 = TPS
-
계산법(2) : 메모리 요구량 = 파라미터 수(B) x 1 byte (FP8은 파라미터 당 1 byte)
-
예) H200 대역폭 4,800GB ÷ 8GB (8B x 1) = 600TPS
-
TPS(Tokens Per Second)는 "AI가 1초 당 얼마나 많은 토큰(단어 조각)을 생성해내는가" 를 의미합니다.
-
TPS 수치는 대역폭을 100% 활용한다는 가정하에, 이론적으로 도달 가능한 최대 토큰 생성 속도입니다.
-
실제 서비스 환경에서는 KV 캐시 메모리 점유, 커널 오버헤드, 배치 사이즈 설정 등에 따라 더 높거나 또는 낮아질 수 있습니다.
-
RTX 6K* : RTX Pro 6000 Blackwell Server Edition (96GB)
-
본 도표는 NVIDIA 홈페이지 및 데이터시트를 기준으로 작성됐습니다.
-
전체 GPU 서버 가격 페이지 또는 견적 요청 시 48시간 내 제공 페이지를 참고 바랍니다.
#05. 30B 모델 기준, 추론 성능 및 서비스 처리 속도(FP8)
LLM 모델 30B, FP8 및 엔비디아 GPU 1장 기준으로 모델이 사용자(1명)의 질문에 얼마나 빠르게 답변하는지 비교합니다.
구분
메모리 대역폭
추론 속도(TPS)
Rubin
22.0TB/s
733
B300
8.0TB/s
266
B200
8.0TB/s
266
H200
4.8TB/s
160
H100
3.9TB/s
130
A100
1.9TB/s
FP8 미 지원
L40S
0.864TB/s
28
RTX 6K*
1.597TB/s
53
<참고사항>
-
계산법(1) : 메모리 대역폭(GB로 환산) 나누기(÷) 메모리 요구량 = TPS
-
계산법(2) : 메모리 요구량 = 파라미터 수(B) x 1 byte (FP8은 파라미터 당 1 byte)
-
예) H200 대역폭 4,800GB ÷ 30GB (30B x 1) = 160TPS
-
TPS(Tokens Per Second)는 "AI가 1초 당 얼마나 많은 토큰(단어 조각)을 생성해내는가" 를 의미합니다.
-
TPS 수치는 대역폭을 100% 활용한다는 가정하에, 이론적으로 도달 가능한 최대 토큰 생성 속도입니다.
-
실제 서비스 환경에서는 KV 캐시 메모리 점유, 커널 오버헤드, 배치 사이즈 설정 등에 따라 더 높거나 또는 낮아질 수 있습니다.
-
RTX 6K* : RTX Pro 6000 Blackwell Server Edition (96GB)
-
본 도표는 NVIDIA 홈페이지 및 데이터시트를 기준으로 작성됐습니다.
-
전체 GPU 서버 가격 페이지 또는 견적 요청 시 48시간 내 제공 페이지를 참고 바랍니다.
#06. 70B 모델 기준, 추론 성능 및 서비스 처리 속도(FP8)
LLM 모델 70B, FP8 및 엔비디아 GPU 1장 기준으로 모델이 사용자(1명)의 질문에 얼마나 빠르게 답변하는지 비교합니다.
구분
메모리 대역폭
추론 속도(TPS)
Rubin
22.0TB/s
314
B300
8.0TB/s
114
B200
8.0TB/s
114
H200
4.8TB/s
68
H100
3.9TB/s
55
A100
1.9TB/s
FP8 미 지원
L40S
0.864TB/s
실행 불가
RTX 6K*
1.597TB/s
22
<참고사항>
-
계산법(1) : 메모리 대역폭(GB로 환산) 나누기(÷) 메모리 요구량 = TPS
-
계산법(2) : 메모리 요구량 = 파라미터 수(B) x 1 byte (FP8은 파라미터 당 1 byte)
-
예) H200 대역폭 4,800GB ÷ 70GB (70B x 1) = 68TPS
-
TPS(Tokens Per Second)는 "AI가 1초 당 얼마나 많은 토큰(단어 조각)을 생성해내는가" 를 의미합니다.
-
TPS 수치는 대역폭을 100% 활용한다는 가정하에, 이론적으로 도달 가능한 최대 토큰 생성 속도입니다.
-
실제 서비스 환경에서는 KV 캐시 메모리 점유, 커널 오버헤드, 배치 사이즈 설정 등에 따라 더 높거나 또는 낮아질 수 있습니다.
-
L40S가 실행 불가인 이유: 메모리 요구량은 70GB, L40S 1장 당 메모리 용량은 48GB이므로 적재 자체가 불가능하기 때문입니다.
-
실행 불가의 경우, 모델 축소/구조 최적화를 통해, 메모리 요구량을 낮추거나, GPU 추가 탑재가 권장됩니다.
-
RTX 6K* : RTX Pro 6000 Blackwell Server Edition (96GB)
-
본 도표는 NVIDIA 홈페이지 및 데이터시트를 기준으로 작성됐습니다.
-
전체 GPU 서버 가격 페이지 또는 견적 요청 시 48시간 내 제공 페이지를 참고 바랍니다.
#07. 8B 모델 기준, 추론 성능 및 서비스 처리 속도(FP4)
LLM 모델 8B, FP4 및 엔비디아 GPU 1장 기준으로 모델이 사용자(1명)의 질문에 얼마나 빠르게 답변하는지 비교합니다.
구분
메모리 대역폭
추론 속도(TPS)
Rubin
22.0TB/s
5,500
B300
8.0TB/s
2,000
B200
8.0TB/s
2,000
H200
4.8TB/s
FP4 미 지원
H100
3.9TB/s
FP4 미 지원
A100
1.9TB/s
FP4 미 지원
L40S
0.864TB/s
FP4 미 지원
RTX 6K*
1.597TB/s
399
<참고사항>
-
계산법(1) : 메모리 대역폭(GB로 환산) 나누기(÷) 메모리 요구량 = TPS
-
계산법(2) : 메모리 요구량 = 파라미터 수(B) x 0.5 byte (FP4은 파라미터 당 0.5 byte)
-
예) B200 대역폭 8,000GB ÷ 4GB (8B x 0.5) = 2,000TPS
-
TPS(Tokens Per Second)는 "AI가 1초 당 얼마나 많은 토큰(단어 조각)을 생성해내는가" 를 의미합니다.
-
TPS 수치는 대역폭을 100% 활용한다는 가정하에, 이론적으로 도달 가능한 최대 토큰 생성 속도입니다.
-
실제 서비스 환경에서는 KV 캐시 메모리 점유, 커널 오버헤드, 배치 사이즈 설정 등에 따라 더 높거나 또는 낮아질 수 있습니다.
-
RTX 6K* : RTX Pro 6000 Blackwell Server Edition (96GB)
-
본 도표는 NVIDIA 홈페이지 및 데이터시트를 기준으로 작성됐습니다.
-
전체 GPU 서버 가격 페이지 또는 견적 요청 시 48시간 내 제공 페이지를 참고 바랍니다.
#08. 30B 모델 기준, 추론 성능 및 서비스 처리 속도(FP4)
LLM 모델 30B, FP4 및 엔비디아 GPU 1장 기준으로 모델이 사용자(1명)의 질문에 얼마나 빠르게 답변하는지 비교합니다.
구분
메모리 대역폭
추론 속도(TPS)
Rubin
22.0TB/s
1,467
B300
8.0TB/s
533
B200
8.0TB/s
533
H200
4.8TB/s
FP4 미 지원
H100
3.9TB/s
FP4 미 지원
A100
1.9TB/s
FP4 미 지원
L40S
0.864TB/s
FP4 미 지원
RTX 6K*
1.597TB/s
106
<참고사항>
-
계산법(1) : 메모리 대역폭(GB로 환산) 나누기(÷) 메모리 요구량 = TPS
-
계산법(2) : 메모리 요구량 = 파라미터 수(B) x 0.5 byte (FP4은 파라미터 당 0.5 byte)
-
예) B200 대역폭 8,000GB ÷ 15GB (30B x 0.5) = 533TPS
-
TPS(Tokens Per Second)는 "AI가 1초 당 얼마나 많은 토큰(단어 조각)을 생성해내는가" 를 의미합니다.
-
TPS 수치는 대역폭을 100% 활용한다는 가정하에, 이론적으로 도달 가능한 최대 토큰 생성 속도입니다.
-
실제 서비스 환경에서는 KV 캐시 메모리 점유, 커널 오버헤드, 배치 사이즈 설정 등에 따라 더 높거나 또는 낮아질 수 있습니다.
-
RTX 6K* : RTX Pro 6000 Blackwell Server Edition (96GB)
-
본 도표는 NVIDIA 홈페이지 및 데이터시트를 기준으로 작성됐습니다.
-
전체 GPU 서버 가격 페이지 또는 견적 요청 시 48시간 내 제공 페이지를 참고 바랍니다.
#09. 70B 모델 기준, 추론 성능 및 서비스 처리 속도(FP4)
LLM 모델 70B, FP4 및 엔비디아 GPU 1장 기준으로 모델이 사용자(1명)의 질문에 얼마나 빠르게 답변하는지 비교합니다.
구분
메모리 대역폭
추론 속도(TPS)
Rubin
22.0TB/s
629
B300
8.0TB/s
229
B200
8.0TB/s
229
H200
4.8TB/s
FP4 미 지원
H100
3.9TB/s
FP4 미 지원
A100
1.9TB/s
FP4 미 지원
L40S
0.864TB/s
FP4 미 지원
RTX 6K*
1.597TB/s
46
<참고사항>
-
계산법(1) : 메모리 대역폭(GB로 환산) 나누기(÷) 메모리 요구량 = TPS
-
계산법(2) : 메모리 요구량 = 파라미터 수(B) x 0.5 byte (FP4은 파라미터 당 0.5 byte)
-
예) B200 대역폭 8,000GB ÷ 35GB (70B x 0.5) = 229TPS
-
TPS(Tokens Per Second)는 "AI가 1초 당 얼마나 많은 토큰(단어 조각)을 생성해내는가" 를 의미합니다.
-
TPS 수치는 대역폭을 100% 활용한다는 가정하에, 이론적으로 도달 가능한 최대 토큰 생성 속도입니다.
-
실제 서비스 환경에서는 KV 캐시 메모리 점유, 커널 오버헤드, 배치 사이즈 설정 등에 따라 더 높거나 또는 낮아질 수 있습니다.
-
RTX 6K* : RTX Pro 6000 Blackwell Server Edition (96GB)
-
본 도표는 NVIDIA 홈페이지 및 데이터시트를 기준으로 작성됐습니다.
-
전체 GPU 서버 가격 페이지 또는 견적 요청 시 48시간 내 제공 페이지를 참고 바랍니다.
엔비디아 GPU, 어떤 제품을 선택해야 하나요?
NVIDIA GPU 1장에 올릴 수 있는 LLM 모델의 크기는 메모리 용량을 기준으로 계산됩니다.
메모리 용량 / 대역폭 비교표
파인튜닝 가능 LLM 크기
전력소모량 비교표
추론 성능(TPS) 비교표
학습 가능 LLM 크기
RAG 시스템 구축
연산 성능(FLOPS) 비교표
추론 가능 LLM 크기
2가지 타입 GPU 비교
탑재수량별 GPU 서버 사양 및 가격표
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급하여 고객사 및 파트너의 AI 비지니스를 지원합니다.
파트 #A. NVIDIA 직접 제조 제품
* Tip: 항목을 클릭하면 사양 및 가격으로 이동합니다.
NVIDIA DGX B200, B300 시리즈 등은 엔비디아가 직접 설계 및 제조한 AI 전용 완제품 GPU 서버입니다.
엔비디아 스타트업 프로그램에 가입하면, DGX 시리즈 구매 시, 최대 30%까지 할인을 받을 수 있습니다.
자세한 사항은 각 제품 상세 페이지, 최대 48시간 내 견적서 제공 및 실시간 문의하기를 참고 바랍니다.
파트 #B. HPE, Dell 등 벤더 제조 제품
* Tip: 항목을 클릭하면 사양 및 가격으로 이동합니다.
* RTX 6K : RTX Pro 6000 Blackwell Server Edition
문의하기
메세지를 남겨주시면 빠르게 답변 드립니다.
대략적인 가격은 탑재수량별 GPU 서버 가격 페이지를 참고 바랍니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급하여, 고객사 및 파트너의 AI 비지니스 확산을 빠르게 지원합니다.