AI Infrastructure for Startups

개발자 없이도
돌아가는 AI 인프라.

큰 회사의 GPU 말고, 스타트업의 GPU.

서버실도, 전담 개발자도 없는 팀을 위해 설계했습니다. RTX 3090 1~3대로, 딱 필요한 만큼만 — 예산 안에서만 제안 드립니다.

우리 팀 구성 보기 상담 요청
24GB3090 한 장의 VRAM — 32B급 모델 4비트 구동
+65%GPU 언락 후 BF16 텐서 연산 (75 → 125 TFLOPS)
0명귀사에 필요한 인프라 엔지니어 수

Why we exist

대기업용 GPU 클라우드는 스타트업에 과합니다.

우리는 모든 고객을 상대하지 않습니다. 서버실도 인프라 담당자도 없지만 AI는 지금 돌려야 하는 팀 — 그 작은 시장 하나에서 1등이 되기로 했습니다.

  1. H100을 팔지 않습니다.스타트업의 첫 모델은 수천만 원짜리 GPU가 아니라 24GB에서 시작합니다.
  2. 쿠버네티스를 요구하지 않습니다.전원을 켜면 모델 API가 떠 있는 상태로 납품합니다.
  3. 예산을 먼저 묻습니다.스펙표가 아니라 예산과 용도에서 출발해 구성을 거꾸로 짭니다.
  4. 모르는 건 모른다고 씁니다.이 페이지의 수치에는 출처와 한계를 함께 적었습니다.

01 · Why RTX 3090

왜 지금 RTX 3090인가

5년 된 카드가 올해 갑자기 빨라졌습니다.

24GB VRAM

로컬 AI의 병목은 연산이 아니라 메모리입니다. 3090은 같은 24GB를 가진 카드 중 가장 싸게 구할 수 있는 카드입니다.

검증된 생태계

Ampere 세대는 vLLM·llama.cpp·ComfyUI·PyTorch 모두에서 가장 오래, 가장 많이 테스트된 소비자 GPU입니다.

여러 장으로 확장

2장이면 48GB, 3장이면 72GB. 한 장짜리 32GB 신형 카드보다 큰 모델을 올릴 수 있습니다.

GPU 언락 — 숨겨져 있던 텐서 성능을 되찾다

지포스 카드는 FP16·BF16·TF32 텐서 연산(FP32 누산)이 같은 실리콘의 프로 카드 대비 절반 속도로 묶여 있었습니다. 2026년 공개된 오픈소스 gpu-unlock은 부팅 시 이 제한을 풀어 줍니다. 드라이버 패치·VBIOS 플래싱 없이, 계산 결과는 비트 단위로 동일합니다.

BF16 dense matmul TFLOPS, FP32 누산. 3090은 기본 전력, 3090 Ti는 450W 기준 (기본 88 → 157). 출처: gpu-unlock 프로젝트 공개 측정치.

작업보고된 변화스타트업에게 의미
LLM 프롬프트 처리 (prefill)+25~55%긴 문서·RAG 질의 응답이 빨라짐
첫 토큰까지 시간−25~30%챗봇 체감 반응 속도 개선
LoRA·풀 파인튜닝 (BF16)+25~50%같은 학습을 더 짧은 시간·전기료로
이미지 생성 (FP16/BF16)+30~55%상세페이지·광고 소재 생성량 증가
토큰 생성 (decode)변화 없음메모리 대역폭이 한계라 그대로
INT4·INT8·FP8 양자화 모델변화 없음 ~ +15%Ollama/GGUF는 긴 문맥에서만 소폭
정직한 한계: 리눅스 전용(윈도우 비공식), 30시리즈는 안정·40시리즈는 실험 단계, RTX 50 시리즈는 미지원입니다. 연산량이 늘어나는 만큼 발열도 늘어납니다. 저희는 언락 적용 후 장시간 부하 테스트를 통과한 장비만 출고합니다.

02 · Why NVIDIA

왜 NVIDIA인가

CUDA — AI가 쓰는 공용어

새 모델은 CUDA로 먼저 나옵니다

새 오픈모델이 공개되는 날, 예제 코드와 추론 엔진 지원은 거의 언제나 CUDA 기준입니다. 다른 플랫폼은 며칠에서 몇 달 뒤를 따라옵니다.

막히면 검색하면 나옵니다

에러 메시지를 검색했을 때 답이 있는 플랫폼. 개발자가 없는 팀일수록 이 차이가 시간과 돈으로 돌아옵니다.

모든 도구가 그냥 돌아갑니다

  • PyTorch · vLLM · llama.cpp · Ollama
  • FlashAttention · bitsandbytes · Unsloth
  • ComfyUI · Whisper · TensorRT

작게 시작해서 그대로 키웁니다

3090에서 만든 코드는 4090, 5090, 데이터센터 GPU에서 수정 없이 돌아갑니다. 처음 선택이 막다른 길이 되지 않습니다.

03 · Alternatives

AMD와 Apple은 왜 어려운가

나쁜 하드웨어라서가 아닙니다. 개발자 없는 팀에게 맞지 않을 뿐입니다.

AMD Radeon 시간 비용

VRAM 대비 가격은 매력적이고, ROCm도 빠르게 좋아지고 있습니다. 하지만:

  • ROCm 공식 지원 GPU·OS 조합이 좁아, 설치 단계부터 막히는 경우가 많습니다.
  • FlashAttention·bitsandbytes 같은 핵심 라이브러리가 CUDA보다 늦게, 부분적으로 지원됩니다.
  • "일단 돌아가게 만드는" 시간이 곧 엔지니어 인건비입니다. 그 엔지니어가 없는 팀에겐 가장 비싼 선택이 됩니다.

Apple Silicon 확장 한계

통합 메모리로 큰 모델을 조용히 한 대에서 돌리는 데는 훌륭합니다. 하지만:

  • CUDA가 없습니다. MLX·Metal 전용 경로라 많은 학습·서빙 도구가 그대로 돌지 않습니다.
  • 프롬프트 처리·학습 속도가 같은 가격대 NVIDIA보다 느려, 긴 문서 RAG와 파인튜닝에 불리합니다.
  • 여러 사용자가 동시에 쓰는 서빙(vLLM 등)과 GPU 증설이 불가능합니다. 구매 시점 메모리가 평생 상한입니다.
저희의 결론: 1인 실험용이라면 무엇이든 괜찮습니다. 팀이 매일 업무에 쓰는 인프라라면, 문제가 생겼을 때 답을 찾을 수 있는 쪽 — CUDA를 고릅니다.

04 · Recommended Builds

RTX 3090 1·2·3대별 추천 구성

하드웨어 사양과, 그 위에서 실제로 돌릴 모델까지 한 번에.

스타터 — 첫 사내 AI 서버

사내 챗봇·문서 요약·이미지 생성을 한 대로 시작하는 구성. 사무실 책상 옆에 둘 수 있습니다.

GPURTX 3090 24GB ×1
CPURyzen 7 / Core Ultra 7급 8코어 이상
메인보드B650 / B850 (PCIe 4.0 x16)
RAMDDR5 64GB
SSDNVMe 2TB (모델 파일 저장)
파워850~1000W 80+ Gold 이상
케이스메쉬 전면 미들타워, 3슬롯 카드 장착 가능
OSUbuntu 24.04 LTS + GPU 언락 적용

계획 예산 약 550~570만 원 (중고 3090·Windows·UPS·백업 포함, 시세 변동). 렌탈 시 월 8만 원대부터(예정가).

24GB

추천 모델

  • Qwen3 32B · Q4 — 한국어 범용 업무 비서 (조건부, 짧은~중간 문맥)
  • Qwen3 30B-A3B · Q4 — 빠른 응답이 중요한 사내 챗봇
  • gpt-oss-20b — 추론·코딩 보조, 여유 VRAM 확보
  • Qwen3 14B — 긴 문서 RAG (문맥 여유 확보용)
  • FLUX / SDXL — 상품 이미지·광고 소재 (ComfyUI)
  • Whisper large — 회의록 음성 → 텍스트
  • QLoRA 파인튜닝 — 7~14B급 자체 데이터 학습

한 장에서도 모델을 순차 교체해 LLM과 이미지 생성을 번갈아 운영할 수 있습니다.

팀 — 여러 명이 동시에 쓰는 서버

10~30명 팀이 동시에 쓰는 사내 LLM API, 또는 70B급 모델 실험용.

GPURTX 3090 24GB ×2 (NVLink 브리지 선택)
CPURyzen 9 9950X급 16코어
메인보드X870E — x8/x8 분기, 3슬롯 간격 확보 모델
RAMDDR5 128GB
SSDNVMe 4TB
파워1600W 80+ Platinum (3090 순간 피크 대비)
케이스빅타워 (Fractal North XL급), 전면 흡기 강화
OSUbuntu 24.04 + vLLM 텐서 병렬 2

계획 예산 약 1,040만 원 (시세 변동). 렌탈 시 월 15만 원대부터(예정가). GPU당 전력 제한 280~300W 권장.

48GB

추천 모델

  • 70B급 · Q4/AWQ (Llama 3.3 70B, Qwen2.5 72B) — 1대에서 불가능했던 상위 품질
  • Qwen3 32B · AWQ/FP16 혼합 — 긴 문맥 + 다중 사용자 동시 서빙
  • LLM 1장 + 이미지 1장 — 챗봇과 이미지 생성을 동시에 상시 운영
  • QLoRA 파인튜닝 — 32B급 자체 데이터 학습
오해 주의: 24GB×2는 48GB 한 장처럼 자동으로 합쳐지지 않습니다. 분산 설정이 필요하며, 이 설정은 저희가 납품 전에 끝내 둡니다.

스케일 — 상시 가동 AI 백엔드

고객 대상 서비스에 AI를 붙이거나, 여러 모델을 역할별로 동시에 띄우는 구성.

GPURTX 3090 24GB ×3 (블로워형 또는 라이저 배치)
CPUThreadripper PRO 3975WX / 5975WX
메인보드WRX80 — 전 슬롯 PCIe 4.0 x16, 레인 부족 없음
RAMECC RDIMM 256GB (24/7 운영)
SSDNVMe 4~8TB + 백업 디스크
파워2000W급 또는 듀얼 PSU, 전용 220V 회로
섀시오픈프레임 / 4U 랙, 소음 분리 공간 권장
원격관리PiKVM + 스마트 PDU (BIOS·강제 재부팅 원격)

구성·상면 위치에 따라 개별 견적. 사무실 반입 또는 저희 거점 코로케이션 중 선택.

72GB

추천 운영 방식 — 역할 분리

  • GPU 0+1 → 메인 LLM — 70B급 Q4 또는 Qwen3 32B 고정밀, vLLM 텐서 병렬
  • GPU 2 → 보조 작업 — 임베딩(RAG 검색)·Whisper·이미지 생성 상시 대기
  • 대안: 하나의 큰 모델 — gpt-oss-120b 등 초대형 모델 (llama.cpp 분할 + 일부 CPU 오프로드)
  • 파인튜닝 전용 시간대 — 야간에 3장 전체로 학습, 낮에는 서빙
왜 2+1인가: vLLM 텐서 병렬은 2·4장 단위가 기본이라 3장을 하나로 묶으면 효율이 떨어집니다. 저희는 3장을 "큰 모델 1 + 보조 1"로 나눠 쓰는 것을 기본으로 제안합니다.

모델 적합성은 양자화·문맥 길이·동시 사용자 수에 따라 달라집니다. 상담 시 귀사 용도로 실측해 드립니다.

05 · How it works

개발자 없이 돌아가는 이유

설치부터 장애 대응까지, 인프라 엔지니어의 일을 저희가 합니다.

예산 상담

용도·사용자 수·월 예산을 듣고, 넘치지 않는 구성을 제안합니다.

세팅 후 출고

OS·드라이버·언락·모델·API까지 설치하고 장시간 부하 QC를 거쳐 보냅니다.

꽂으면 끝

전원과 랜선만 연결하면 사내 주소로 챗봇과 API가 열립니다.

원격 관리

원격 KVM과 스마트 전원으로 BIOS·재부팅까지 저희가 대응합니다.

Start small

딱 필요한 만큼만,
예산 안에서만.

팀 규모와 하고 싶은 일을 알려 주세요. 3090 몇 장이면 되는지부터 답해 드립니다.

상담 요청하기