prismBETA
← 개발자 브리핑
2026-11-09 · 07 / 07

DGX Station 2대로 GLM-5.3 로컬 서빙 실측

약 464GB의 GLM-5.3 NVFP4 체크포인트(총 7,530억 파라미터, 토큰당 활성 400억)를 DGX Station 2대의 GB300 GPU에 텐서 병렬(TP=2)로 나눠, CPU 오프로딩 없이 단일 OpenAI 호환 API로 서빙했다. SPEED-Bench Coding에서 동시 요청 16개일 때 전체 처리량 607.8토큰/초가 최고치였고, 요청당 평균은 동시 1개 115.3, 16개 42.4, 32개 13.0토큰/초로 떨어졌다(32개에선 전체도 385.0으로 하락). MTP(단계당 4토큰 예측)·FP8 KV 캐시·프리픽스 캐싱을 함께 썼다.

GLM-5.3 NVFP4는 Z.ai의 MoE 모델을 양자화한 버전으로 전체 7,530억 파라미터, 토큰당 활성 400억이다. 희소 활성화로 연산량은 줄지만 토큰마다 다른 전문가로 라우팅돼 모든 가중치에 접근해야 하는데, 약 464GB 체크포인트는 GB300 GPU 한 개의 252GB HBM3e를 넘는다. 그래서 DGX Station 2대를 ConnectX-8 RDMA(RoCE)로 묶어 TP=2로 두 GPU가 가중치·연산을 분담하고, 모든 토큰 생성마다 두 rank가 부분 결과를 교환한다.

SPEED-Bench Coding 측정에서 전체 처리량은 동시 요청 16개에서 607.8토큰/초로 가장 높았고, 요청당 평균은 동시 1개 115.3, 16개 42.4, 32개 13.0토큰/초였다. 동시 32개에서는 전체 처리량도 385.0으로 떨어져, 단순히 동시성을 올린다고 총 처리량이 느는 게 아님을 보여준다. 두 수치 모두 추론 토큰을 포함한다.

MTP로 단계당 4토큰을 미리 예측해 검증하고, FP8 KV 캐시와 프리픽스 캐싱으로 캐시 메모리와 반복 프롬프트 부담을 줄였다. 설정은 입출력 합산 최대 컨텍스트 98,304토큰, GPU 메모리 사용률 93%다. 실제 서비스에 맞는 동시 요청 수는 자체 프롬프트로 다시 측정하라고 권한다.

투표
오픈 모델, 직접 서빙하세요?
이 글이 도움이 되셨나요?
매주 월요일 아침 갱신 · 요약은 AI가 생성하며 출처 원문을 확인하세요.