RAG 시스템 구축 및 운영에 적합한 GPU 비교 및 선택

<참고 사항>

​​​​​

• 계산법(1) : GPU 연산 성능(FLOPS) 나누기(÷) 토큰당 연산량(FLOPS) = 이론상 최대 TPS​

​​

• 계산법(2) : 모델 파라미터 수 x 2 = 토큰당 연산량 (FLOPS)

​​

• 예) B300 기준​

​​

• GPU 연산 성능: 9.0 PFLOPS = 9,000,000,000,000,000(9천 조) FLOPS

​​​​​

• 토큰당 연산량: 2억 FLOPS = 200,000,000(2억) FLOPS (1억 파라미터 모델 x 2)

​​​​

• 이론상 최대 TPS: 9,000,000,000,000,000 나누기(÷) 200,000,000 = 45,000,000 TPS (45,000K)

​​

• 단위 환산: 1 PFLOPS (페타플롭스) = 1,000,000 GFLOPS (기가플롭스)

​​

• 딥러닝 연산 시, 행렬의 각 파라미터마다 곱하기(Multiply) 1번과 더하기(Add) 1번, 총 2번의 연산을 기본 단위로 수행합니다.

​​

• 모델 크기에 2를 곱하면 토큰 1개를 처리하는 데 필요한 총 연산 횟수가 나옵니다.

​​​

• 본 수치는 이론 상 최대이며, 실제 환경에서는 하드웨어 병목 및 데이터 전처리 오버헤드가 발생하므로, 임베딩 처리 속도는 이론상 최대 성능의 약 28% 수준입니다.​​

​

• 본 도표의 연산 성능은 희소성(Sparsity) 기준이며, Dense(밀집/고밀도) 에서는 약 50% 성능을 보입니다.​​​

​

• RTX 6K* : RTX Pro 6000 Blackwell Server Edition (96GB)

​

• 실행 불가 또는 미 지원 시, LLM 모델 축소, 구조 최적화 또는 정밀도 변경 등 메모리 요구량을 낮추는 전략을 선택할 수 있습니다.

​

• 또는, 상위 버전으로 GPU를 업그레이드 하거나, 추가 탑재로 메모리 용량을 늘려 원하는 크기의 LLM 모델을 적재할 수 있습니다.

​

• 탑재수량별 GPU 서버 가격 페이지 또는 최대 48시간 내 견적 제공​ 페이지를 참고 바랍니다.