GPU 클라우드 고르는 법: 7가지 기준

1. 모델에 맞는 VRAM

모델 가중치와 학습 중 계산 값은 모두 GPU 메모리(VRAM)에 올라가야 해요. 모자라면 CUDA out of memory 오류로 멈추거나, 일부를 CPU 메모리로 넘기는 도구에서는 크게 느려져요.

추론에는 가중치와 KV 캐시가, 학습에는 그래디언트와 옵티마이저 상태까지 올라가요. 8B 모델은 16비트 가중치만 약 16GB라서 24GB GPU가 편하고, 4비트로 양자화하면 8GB에서도 짧은 컨텍스트로 돌릴 수 있어요. 내 모델에 필요한 양은 LLM VRAM 계산기로 바로 계산할 수 있어요.

제공자에게 확인할 질문

• 표시된 VRAM은 GPU 한 장 기준인가요, 서버에 달린 GPU 전체의 합계인가요?
• GPU 한 장을 통째로 쓰나요, MIG나 가상 GPU로 나눈 일부를 쓰나요?
• 같은 모델명에 메모리가 다른 버전(예: A100 40GB와 80GB)이 있다면 어느 쪽인가요?

2. GPU 세대와 지원 기능

VRAM이 같아도 세대에 따라 쓸 수 있는 기능이 달라요. CUDA와 PyTorch는 compute capability라는 세대 번호(예: 8.6)로 지원 여부를 정해요.

• BF16은 요즘 LLM 학습과 체크포인트의 기본 형식이에요. 지원하지 않는 GPU에서는 FP16으로 바꾸고 손실 스케일링을 따로 챙겨야 해요.
• FP8 텐서 코어가 없는 세대도 FP8 모델을 불러올 수는 있지만 속도 이점은 적어요.
• FlashAttention 2는 어텐션 계산의 메모리와 시간을 줄여 주는 라이브러리예요. 지원 범위는 공식 저장소 기준이에요.
• 새 CUDA 버전은 오래된 세대를 빼기도 해요. CUDA 13부터 Volta(V100) 지원이 빠져서 V100에서는 CUDA 12.x가 안전해요.

제공자에게 확인할 질문

• 정확한 GPU 모델명과 칩은 무엇인가요? “OO급”처럼 적혀 있다면 꼭 물어보세요.
• 드라이버 버전과 지원하는 최대 CUDA 버전은 무엇인가요? 서버를 받은 뒤에는 nvidia-smi로 직접 확인할 수 있어요.
• 쓰려는 라이브러리(FlashAttention 2, FP8 추론 등)가 이 GPU에서 동작하나요?

3. 이용 요금 단위와 중지·삭제 규칙

1시간 단위로 계산하면 10분만 써도 1시간 요금이 나가고, 초 단위라면 쓴 만큼만 나가요. 짧은 실험을 자주 반복할수록 차이가 커져요.

가장 많이 놓치는 건 중지한 서버의 요금이에요. 중지해도 GPU를 계속 잡아 두고 요금을 그대로 받는 제공자라면, 중지만 해 둔 서버에 며칠씩 요금이 나갈 수 있어요.

제공자에게 확인할 질문

• 요금은 언제부터, 어떤 단위(초·분·시간)로 계산하나요? 최소 청구 시간이 있나요?
• 서버 생성에 실패하면 이미 결제된 금액은 어떻게 되나요?
• 중지한 서버에도 GPU 요금이 나가나요? 나가지 않는다면, 다시 시작할 때 같은 GPU를 받을 수 있나요?
• 서버를 삭제한 뒤에도 요금이 이어지는 자원(볼륨, 이미지, 공인 IP 등)은 무엇인가요?
• 선불인가요, 후불인가요? 남은 선불 금액은 환불되나요?

4. 저장소가 어디까지 남는지

볼륨을 다른 GPU 서버에 옮겨 붙일 수 있으면 큰 데이터셋을 매번 다시 내려받지 않아도 돼요. 작은 GPU에서 코드를 다듬고 큰 GPU에서 학습하는 식으로 나눠 쓰기도 쉬워요.

제공자에게 확인할 질문

• 서버를 삭제하면 어떤 데이터가 함께 지워지나요?
• 볼륨을 GPU 모델이 다른 서버에도 연결할 수 있나요?
• 이미지에는 무엇이 저장되나요? 실행 중이던 프로세스와 메모리 상태도 남나요?
• 백업은 제공자가 해 주나요, 직접 해야 하나요?

5. 드라이버와 CUDA 환경 구성

빈 서버라면 드라이버, CUDA, PyTorch 버전을 맞추는 데 시간이 꽤 들어요. 템플릿이 있어도 드라이버가 너무 오래되면 최신 CUDA로 빌드된 PyTorch가 GPU를 인식하지 못할 수 있으니, CUDA 버전 확인하는 법으로 버전을 확인하세요.

제공자에게 확인할 질문

• 드라이버와 CUDA가 설치된 템플릿이 있나요? 버전은 무엇인가요?
• root나 sudo 권한으로 시스템 패키지를 직접 설치할 수 있나요?
• Docker를 쓸 수 있고, 컨테이너 안에서도 GPU가 보이나요?

6. 접속 방식과 포트

터미널과 VS Code로 작업한다면 SSH가, 노트북으로 실험한다면 브라우저에서 여는 JupyterLab이 필요해요. SSH는 비밀번호보다 키로 접속하는 편이 안전해요. 방법은 SSH 키로 GPU 서버에 접속하는 법과 원격 GPU 서버에서 JupyterLab 쓰기를 보세요.

모델 API나 이미지 생성 웹 UI를 다른 사람도 쓰게 하려면 공인 포트를 열 수 있어야 해요. 포트를 열 수 없으면 매번 SSH 터널을 거쳐야 해요.

제공자에게 확인할 질문

• SSH 키로 접속하나요, 비밀번호로 접속하나요?
• JupyterLab을 브라우저에서 바로 열 수 있나요?
• 공인 포트를 어떤 방식으로, 몇 개까지 열 수 있나요?
• 서버를 다시 시작해도 접속 주소와 포트가 유지되나요?

7. 리전, 결제, 한국어 지원

노트북이나 원격 데스크톱처럼 입력할 때마다 응답을 기다리는 작업은 서버가 가까울수록 빨라요. 큰 데이터를 올리고 내려받을 때도 거리가 영향을 줘요.

개인정보, 고객 데이터, 기관 연구 데이터를 다룬다면 해외 저장이 사내 규정이나 계약 조건에 걸릴 수 있어요.

제공자에게 확인할 질문

• 서버와 저장소는 어느 나라, 어느 지역에 있나요?
• 원화로 결제할 수 있나요?
• 회사나 연구실 비용 처리에 필요한 증빙을 받을 수 있나요?
• 장애나 결제 문제를 한국어로 문의할 수 있나요?

Shelf는 이렇게 답해요

원하는 GPU가 비어 있지 않으면 GPU 예약 대기열에 들어갈 수 있어요. 첫 1시간 요금을 예치하고, GPU가 배정되기 전에 취소하면 전액 환불돼요.