L40S GPU 특징
Ada Lovelace 아키텍처 기반의 L40S GPU는 생성형 AI와 대형 언어 모델(LLM) 추론 및 훈련에서부터 3D 그래픽, 렌더링, 영상에 이르는 차세대 데이터센터 워크로드를 지원하도록 제작되었습니다.
메모리 용량은 48GB GDDR6을 제공하고 메모리 대역폭은 864GB/s까지 지원하여 LLM 모델 학습 및 추론 성능을 강력하게 가속화합니다.
FP8 연산 성능은 1,466 TFLOPS, FP16은 733 TFLOPS, FP32는 91.6 TFLOPS의 강력한 성능과 속도를 지원하며, 3세대 RT 코어 수는 142개, 4세대 Tensor Core 수는 568개를 탑재했습니다.
L40S GPU는 단품으로 구매 가능하며, 원하는 만큼 수량을 서버에 탑재하여 GPU 서버를 구매할 수 있습니다.
L40S 탑재 GPU 서버 가격
L40S 8장 탑재 GPU 서버 가격은 대략 2억 원(부가세 별도), 4장 탑재는 1억 원(부가세 별도), 2장 탑재는 8천만 원(부가세 별도) 정도의 가격으로 공급됩니다.
대략적인 평균 가격으로, 실제 견적 및 계약 시, 제조사, 사양 등에 따라 달라질 수 있습니다.
L40S GPU는 B200, B300, Rubin과 달리, 단품으로 구매 및 공급이 가능하며, 원하는 만큼 수량을 HPE, Dell, 슈퍼 마이크로 등 서버에 탑재하여 구매할 수 있습니다.
최근, 글로벌하게 AI 비지니스 확산되고 있고, 국내 또한 기업 및 공공기관의 AI R&D, 프로젝트 및 정부 지원 과제가 폭발적으로 증가함에 따라 GPU 서버 수요가 증가하고 가격 또한 가파르게 상승하고 있습니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급, 고객사 / 파트너의 AI 비지니스를 지원합니다.
L40S 탑재 GPU 서버 구매 가이드
NVIDIA L40S GPU 단품 가격은 대략 1,500 ~ 2,000만원(부가세 별도) 정도로 공급되며, 단품으로 판매 및 공급이 가능합니다.
또한, B200, B300과 달리, 원하는 만큼 수량을 HPE, Dell 등 서버에 탑재하여 GPU 서버를 구매할 수 있습니다.
또한, L40S GPU는 단종된 A100의 대체 제품으로 상당 수량 공급 및 판매되고 있습니다.
비교를 위해 GPU 메모리 용량 및 대역폭 비교표, 추론 성능 및 속도, 연산 성능 및 속도 비교표 등을 참고 바랍니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급, 고객사 / 파트너의 AI 비지니스를 지원합니다.
L40S는 A100을 대체할 수 있습니까?
생성형 AI 추론: L40S는 에이다 러브레이스 아키텍처 덕분에 FP8 정밀도를 지원하지만 A100은 지원하지 않습니다.
그래픽 및 렌더링 결합: A100에는 없는 RT 코어가 탑재되어 있어, AI와 3D 그래픽 작업(디지털 트윈, 옴니버스 등)을 동시에 수행해야 한다면 L40S가 압도적입니다.
메모리 용량 및 대역폭: A100은 80GB, HBM2e라는 초고속 메모리를 사용, L40S는 48GB, GDDR6를 사용합니다.
멀티 GPU 확장성 (NVLink): A100은 NVLink를 지원하여 수십 대를 하나처럼 묶을 수 있지만, L40S는 PCIe 인터페이스 위주로 설계되어 대규모 클러스터 구성 시 효율이 다소 떨어질 수 있습니다.
MIG(Multi-Instance GPU): A100은 1장을 7개까지 쪼개서 사용 가능하지만, L40S는 지원하지 않습니다.
L40S 를 선택해야 하는 이유
압도적인 가성비: H100 대비 합리적인 가격에 제공되면서도, 텐서 코어 성능을 극대화하여 LLM 학습과 추론에서 뛰어난 효율을 보여줍니다.
검증된 가성비: A100 보다 낮은 비용으로 더 많은 GPU 노드를 구축하여 전체 처리량을 높일 수 있습니다.
생성형 AI 최적화: 최신 Ada Lovelace 아키텍처와 4세대 텐서 코어를 탑재하여 이미지 생성이나 복잡한 텍스트 작업에서 최상의 속도를 보장합니다.
데이터 센터 범용성의 끝판왕: 단순 AI 계산뿐만 아니라 3D 렌더링, 영상 인코딩, 옴니버스(Omniverse) 시뮬레이션까지 한 장의 카드로 모두 처리할 수 있는 진정한 '올라운더' GPU입니다.
48GB 메모리: 고성능 GDDR6 메모리를 탑재하여 대규모 파라미터를 가진 모델을 메모리 부족 걱정 없이 안정적으로 서빙할 수 있습니다.
L40S GPU 사양
항목
사양
아키텍처
Ada Lovelace
GPU 메모리
48 GB GDDR6
메모리 대역폭
864 GB/s
FP4 연산 성능
미 지원
FP8 연산 성능
1,466 TFLOPS
FP16 연산 성능
733 TFLOPS
FP32 연산 성능
91.6 TFLOPS
TF32 연산 성능
366 TFLOPS
RT 코어 수
142개 (3세대)
Tensor 코어
568개 (4세대)
NVLink
미 지원
MIG*
미 지원
호스트 보조 연결
PCIe 4.0x16
전력 소모량
350W
네트워킹
ConnectX-7 (~400Gbps)
<참고 사항>
-
FP, TF 등 연산 성능은 희소성(Sparsity)을 적용한 기준이며, 밀집(Dense) 기준에서는 약 50% 수준의 성능을 보입니다.
-
4세대 텐서 코어: AI 및 딥러닝 연산 가속, 역할은 복잡한 행렬 계산(Matrix Multiplication) 초고속 처리로, 연산과 계산 성능이 얼마나 강력한가를 결정합니다.
-
3세대 RT 코어: 실시간 레이 트레이싱(Ray Tracing) 가속, 역할은 빛의 반사, 굴절, 그림자 등을 실사와 같이 그래픽을 만들며, 얼마나 화면이 사실적인가를 결정합니다.
-
MIG(Multi-Instance GPU): 하나의 물리적인 GPU를 최대 7개의 인스턴스로 분할하여 사용할 수 있는 기능입니다.
-
본 사양표는 L40S GPU 1개 당 수치이며, NVIDIA 홈페이지 및 데이터시트를 기준으로 작성했습니다.
-
NVIDIA GPU 서버 및 제품 선택을 위해, 연산 성능 비교표, 추론 성능 비교표, 메모리 용량 및 대역폭 비교표 등을 참고 바랍니다.