GPU · Ada Lovelace
AD103-32GB GPU 서버
RTX 4080 계열과 같은 AD103 칩에 32GB 메모리를 단 구성이에요. Ada 세대라서 FP8 텐서 코어를 쓸 수 있고, 24GB로는 빠듯한 모델에 여유를 줘요.
제공 준비 중요금 보기
사양
- 아키텍처
- Ada Lovelace
- GPU 칩
- AD103 (RTX 4080 계열)
- VRAM
- 32 GB GDDR6X
- Compute Capability
- 8.9
- BF16
- 지원
- FP8 텐서 코어
- 지원
- 클라우드 게이밍
- 게이밍 저지연 지원
- 시간당 요금
- 준비 중
32GB VRAM으로 다룰 수 있는 모델
컨텍스트 4K, 배치 1 기준으로 VRAM의 85% 안에 들어오는 LLM 크기를 추정했어요. 한계까지 채우면 조금 더 큰 모델도 올라갈 수 있지만, 컨텍스트를 늘릴 여유가 줄어요.
| 작업 | 모델 크기 (추정) |
|---|---|
| 16비트 추론 | 약 10B |
| 8비트 추론 | 약 20B |
| 4비트 추론 | 약 35B |
| QLoRA 파인튜닝 | 약 35B |
| LoRA 파인튜닝 (16비트) | 약 10B |
- 16비트로 여유 있는 모델
- Llama 3.1 8B, Qwen3 8B, EXAONE 3.5 7.8B, Mistral 7B, Gemma 2 9B
- 4비트로 여유 있는 모델
- Llama 3.1 8B, Qwen3 8B, EXAONE 3.5 7.8B, Mistral 7B, Gemma 2 9B, Qwen3 14B, Gemma 2 27B, Qwen3 32B, EXAONE 3.5 32B
다른 컨텍스트 길이나 파인튜닝 설정은 LLM VRAM 계산기에서 확인하세요.
잘 맞는 작업과 고려할 점
잘 맞아요
- 32GB VRAM으로 8~9B급 모델은 16비트로 여유 있게, 32B급 모델은 4비트로 한 장에서 돌릴 수 있어요.
- Ada 세대 4세대 텐서 코어가 FP8 연산을 지원해요.
- 하드웨어 인코더가 있어서 렌더링과 클라우드 게이밍에도 쓸 수 있어요.
고려하세요
- AD103 칩에 32GB를 단 구성은 일반 소비자용 그래픽카드 모델명으로 판매되지 않아요. 성능 비교는 같은 칩을 쓰는 RTX 4080 계열을 기준으로 보세요.
- 70B급 모델은 4비트 양자화를 해도 한 장에 올라가지 않아요.
GPU 서버가 필요할 때