항목	값
베이스 모델	Qwen/Qwen3.5-35B-A3B
총 파라미터	35B (활성 3B, MoE 256 experts)
양자화	NVFP4 (nvidia-modelopt, EXPERTS_ONLY)
양자화 포맷	quant_method: modelopt
모델 크기	~22 GB
라이선스	Apache 2.0

사용 방법 (vLLM)

bash

vllm serve prosoft0405/Kosmic-35B-A3B-NVFP4 \
  --trust-remote-code \
  --language-model-only \
  --gpu-memory-utilization 0.85 \
  --reasoning-parser qwen3

사용 방법 (Docker)

bash

docker run -d --gpus all --ipc host -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:cu130-nightly \
  prosoft0405/Kosmic-35B-A3B-NVFP4 \
  --served-model-name kosmic-35b \
  --language-model-only \
  --gpu-memory-utilization 0.85 \
  --reasoning-parser qwen3

하드웨어 요구사항

NVIDIA Blackwell GPU (DGX Spark 최적화)
vLLM 0.17.0+ (nightly 권장)
transformers 5.2.0+

양자화 방식

nvidia-modelopt NVFP4_EXPERTS_ONLY_CFG
MoE routed expert weights만 NVFP4, 나머지 BF16 유지
GDN linear_attn, self_attn, shared_expert, mlp.gate 등 BF16 보존