NVIDIA L40S 특징
Ada Lovelace 아키텍처 기반의 엔비디아 L40S GPU는 생성형 AI와 대형 언어 모델(LLM) 학습 및 추론에 적합합니다.
L40S GPU 1장 당 메모리 용량은 GDDR6 48GB, GPU 메모리 대역폭은 초 당 864GB/s까지 지원합니다.
FP8 연산 성능은 1,466 TFLOPS, FP16은 733 TFLOPS, FP32는 91.6 TFLOPS 입니다.
3세대 RT 코어 수는 142개, 568개의 4세대 Tensor Core 를 탑재했습니다.
전력 소모량은 1장 당 350W 이며, 단종된 A100 대체 제품으로 잘 알려져 있습니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급합니다.
#이미지: L40S x 8장 탑재된 NVIDIA L40S OVX 시스템 서버 내부 구조
NVIDIA L40S 탑재 GPU 서버 가격
엔비디아 L40S 48GB 탑재수량별 GPU 서버 가격 정보를 제공합니다.
(단위: 원 / 부가세 별도)
구분
공급 가격
제조사
Tip : 항목을 클릭하면 CPU, 메모리, 스토리지 등 상세 사양 페이지로 이동합니다.
엔비디아 L40S 8장 탑재 GPU 서버 가격은 대략 2억 원(부가세 별도), 4장 탑재는 1억 원(부가세 별도), 2장 탑재는 8천만 원(부가세 별도) 정도의 가격으로 공급됩니다.
대략적인 평균 가격으로, 실제 견적 및 계약 시, 제조사, 사양 등에 따라 달라질 수 있습니다.
NVIDIA L40S GPU는 B200, B300, Rubin과 달리, 단품으로 구매 및 공급이 가능하며, 원하는 만큼 수량을 HPE, Dell 등 서버에 탑재하여 구매할 수 있습니다.
최근, 최근, 메모리 / 반도체 가격 상승 및 전 세계적인 AI 비지니스 확산으로 인하여 GPU 서버 가격 또한 상승하는 추세에 있습니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급, 고객사 / 파트너의 AI 비지니스를 지원합니다.
최단 24시간, 최대 48시간 내 견적서를 보내드립니다.
NVIDIA L40S 탑재 GPU 서버 구매 가이드
엔비디아 L40S GPU 단품 가격은 대략 1,500 ~ 2,000만원(부가세 별도) 정도로 공급되며, 단품으로 판매 및 공급이 가능합니다.
또한, B200, B300과 달리, 원하는 만큼 수량을 HPE, Dell 등 서버에 탑재하여 GPU 서버를 구매할 수 있습니다.
또한, L40S GPU는 단종된 A100의 대체 제품으로 상당 수량 공급 및 판매되고 있습니다.
NVIDIA GPU 비교 및 선택을 위해,
메모리 용량 및 대역폭 비교표, 추론 성능 및 속도, 연산 성능 및 속도 비교표 등을 참고 바랍니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급합니다.
H200 성능, L40S 대비 얼마나 더 성능이 좋은가요?
엔비디아 L40S는 PCIe 기반의 범용 워크로드 칩이며, H200은 고성능 데이터센터용 플래그십 칩으로 두 제품은 체급과 메모리 아키텍처에서 큰 차이가 납니다.
메모리 용량: 48GB (GDDR6) -> 141GB (HBM3e)로 193% 증가 (약 2.93배)
메모리 대역폭: 864 GB/s -> 4.8 TB/s로 약 455% 증가 (약 5.55배)
AI 연산 성능 (FP8): 1,466 TFLOPS -> 3,958 TFLOPS로 약 170% 증가 (약 2.7배)
인터커넥트 (장치 간 통신): L40S는 NVLink를 지원하지 않으나(PCIe 64GB/s 제한), H200은 NVLink(900GB/s)를 지원하여 분산 학습/추론 시 통신 속도가 14배 더 빠름
소비 전력 (TDP): 350W -> 700W로 100% 증가 (2배)
NVIDIA L40S, A100을 대체할 수 있습니까?
생성형 AI 추론: L40S는 에이다 러브레이스(Ada Lovelace) 아키텍처 덕분에 FP8 정밀도를 지원하지만 A100은 지원하지 않습니다.
그래픽 및 렌더링 결합: A100에는 없는 RT 코어가 탑재되어 있어, AI와 3D 그래픽 작업(디지털 트윈, 옴니버스 등)을 동시에 수행해야 한다면 L40S가 압도적입니다.
메모리 용량 및 대역폭: A100은 HBM2e 80GB, L40S는 48GB, GDDR6를 사용합니다. A100 대역폭은 1.9TB/s, L40S는 0.9TB/s 입니다.
멀티 GPU 확장성: A100은 NVLink를 지원, 수십 대를 묶을 수 있지만, L40S는 PCIe 인터페이스로 대규모 클러스터 시 효율이 다소 떨어질 수 있습니다.
MIG(Multi-Instance GPU): A100은 1장을 7개까지 쪼개서 사용 가능하지만, L40S는 지원하지 않습니다.
NVIDIA 직접 설계 및 제조, DGX 시리즈 가격 및 구매 가이드
NVIDIA가 직접 설계 및 제조한 DGX 시리즈는 AI 전용 완제품 GPU 서버입니다.
NVIDIA DGX Rubin NVL8
NVIDIA GPU 1장에 얼마나 큰 LLM 모델을 올릴 수 있나요?
NVIDIA GPU 1장에 올릴 수 있는 LLM 모델의 크기는 메모리 용량을 기준으로 계산됩니다.
메모리 용량 / 대역폭 비교표
파인튜닝 가능 LLM 크기
추론 성능(TPS) 비교표
학습 가능 LLM 크기
연산 성능(FLOPS) 비교표
추론 가능 LLM 크기
NVIDIA GPU 서버 2가지 타입 비교
NVIDIA GPU 서버는 제조사 기준으로 크게 2가지 타입으로 분류됩니다.
하나는 NVIDIA가 직접 제조하는 완제품 GPU 서버이고, 또 하나는 HPE, Dell 등 벤더가 제조하는 제품입니다.
두 가지 타입의 GPU 서버는 가격, 성능, 기술지원 등 여러가지 부분에서 상당한 차이를 보입니다.
이제, NVIDIA는 GPU 포함, 운영체제(OS), CPU 등 주요한 부품을 직접 제조하는 AI 풀 스택기업으로 도약하고 있습니다.
퀀텀브릭스는 GPU 서버를 합리적인 가격으로 공급합니다.
NVIDIA GPU 카드 2가지 타입 비교
엔비디아 GPU 카드는 구매 및 탑재 방식에 따라 2가지 타입으로 분류됩니다.
단품으로 구매가 가능하고, GPU 서버를 구매할 때, 수량을 선택할 수 있는 타입은 PCIe / NVL 입니다.
반대로, 단품으로 구매가 불가능하고, GPU 서버를 구매할 때, 탑재 수량을 선택할 수 없는 타입이 HGX / SXM 입니다.
RTX 6000, L40S, A100, H100, H200 은 PCIe / NVL 타입으로 단품 구매가 가능하며 및 탑재 수량 선택이 가능합니다.
B200, B300, Rubin(루빈) 은 8장 탑재가 기본입니다.
탑재수량별 GPU 서버 사양 및 가격표
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급하여 고객사 및 파트너의 AI 비지니스를 지원합니다.
파트 #A. NVIDIA 직접 제조 제품
* Tip: 항목을 클릭하면 사양 및 가격으로 이동합니다.
NVIDIA DGX B200, B300 시리즈 등은 엔비디아가 직접 설계 및 제조한 AI 전용 완제품 GPU 서버입니다.
엔비디아 스타트업 프로그램에 가입하면, DGX 시리즈 구매 시, 최대 30%까지 할인을 받을 수 있습니다.
자세한 사항은 각 제품 상세 페이지, 최대 48시간 내 견적서 제공 및 실시간 문의하기를 참고 바랍니다.
파트 #B. HPE, Dell 등 벤더 제조 제품
* Tip: 항목을 클릭하면 사양 및 가격으로 이동합니다.
* RTX 6K : RTX Pro 6000 Blackwell Server Edition
자주 묻는 질문(FAQs)
RAG 시스템 구축 및 운영에 적합한 GPU 비교 및 선택 기준은?
RAG 시스템 구축 시, FP32, FP16, FP8, FP4 정밀도 기준으로 NVIDIA GPU 1장 및 100M(1억) 파라미터 임베딩 모델을 기반으로, 대용량 문서 전처리 및 벡터 변환(Embedding) 속도를 비교하고,
더불어, FP32, FP16, FP8, FP4 정밀도 기준으로, NVIDIA GPU 2장 또는 8장 및 70B 모델 기준으로 동시에 접속이 가능한 사용자 수를 비교합니다.
RAG 시스템 구축 및 운영 시, GPU 서버 구매 및 인프라 구축에 참고 바랍니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급합니다.
#이미지: Rubin(루빈) x 8장이 탑재된 NVIDIA 8 x GPU Rubin HGX 보드
NVIDIA L40S 성능 및 사양
항목
사양
아키텍처
Ada Lovelace
GPU 메모리
48 GB GDDR6
메모리 대역폭
864 GB/s
FP4 연산 성능
미 지원
FP8 연산 성능
1,466 TFLOPS
FP16 연산 성능
733 TFLOPS
FP32 연산 성능
91.6 TFLOPS
TF32 연산 성능
366 TFLOPS
RT 코어 수
142개 (3세대)
Tensor 코어
568개 (4세대)
NVLink
미 지원
MIG*
미 지원
호스트 보조 연결
PCIe 4.0x16
전력 소모량
350W
네트워킹
ConnectX-7 (~400Gbps)
<참고 사항>
-
FP, TF 등 연산 성능은 희소성(Sparsity)을 적용한 기준이며, 밀집(Dense) 기준에서는 약 50% 수준의 성능을 보입니다.
-
4세대 텐서 코어: AI 및 딥러닝 연산 가속, 역할은 복잡한 행렬 계산(Matrix Multiplication) 초고속 처리로, 연산과 계산 성능이 얼마나 강력한가를 결정합니다.
-
3세대 RT 코어: 실시간 레이 트레이싱(Ray Tracing) 가속, 역할은 빛의 반사, 굴절, 그림자 등을 실사와 같이 그래픽을 만들며, 얼마나 화면이 사실적인가를 결정합니다.
-
MIG(Multi-Instance GPU): 하나의 물리적인 GPU를 최대 7개의 인스턴스로 분할하여 사용할 수 있는 기능입니다.
-
본 사양표는 L40S GPU 1개 당 수치이며, NVIDIA 홈페이지 및 데이터시트를 기준으로 작성했습니다.
-
NVIDIA GPU 서버 및 제품 선택을 위해, 연산 성능 비교표, 추론 성능 비교표, 메모리 용량 및 대역폭 비교표 등을 참고 바랍니다.