Modelo MoE (30B total, ~3B parámetros activos) que combina razonamiento (thinking), visión, y comportamiento sin censura (abliterated) en un solo checkpoint — hasta donde sabemos, no existía previamente una cuantización INT4 de esta variante específica lista para usar con vLLM.

Detalles de la cuantización

Método: GPTQ vía llm-compressor 0.12.0
Esquema: INT4 simétrico, group_size 32, observer MSE
Capas ignoradas (sin cuantizar): embed_tokens, visual.* (torre de visión completa, en fp16), lm_head, mlp.gate (router de expertos)
Calibración: ultrachat_200k, 256 muestras × 1024 tokens
Hardware de cuantización: 1× RTX 5070 (Blackwell, 12GB) vía WSL2, ~8h para las 18,624 capas Linear de expertos (128 expertos × 48 capas × 3 proyecciones)
Tamaño: 58GB (BF16) → 17GB (INT4), ~3.4x de compresión

Rendimiento en producción

Servido con vLLM 0.24 en 2× NVIDIA A2 (24GB c/u, TP=2):

~70-85 tok/s de generación (single-stream)
Contexto probado hasta 128K tokens sin degradación observable (recuperación perfecta de hechos insertados en un documento de ~61K tokens, en inicio/medio/final)
Razona (thinking), procesa imágenes, y responde sin rechazos de seguridad (abliterated)

Uso con vLLM

bash

vllm serve nonoskygt/Qwen3-VL-30B-A3B-Thinking-abliterated-GPTQ-INT4 \
  --tensor-parallel-size 2 \
  --max-model-len 131072 \
  --gpu-memory-utilization 0.93 \
  --kv-cache-dtype fp8 \
  --enable-prefix-caching --enable-chunked-prefill \
  --trust-remote-code \
  --dtype float16 \
  --limit-mm-per-prompt '{"image":2,"video":0}' \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice --tool-call-parser hermes

El compressed-tensors se autodetecta, no hace falta --quantization.

Créditos

Modelo base: Qwen team — Qwen3-VL-30B-A3B-Thinking
Abliteración: huihui-ai
Cuantización INT4: nonoskygt

Licencia

Apache 2.0, heredada del modelo base.

Advertencia

Este es un modelo abliterated (sin las salvaguardas de seguridad del modelo original). Úsalo bajo tu propia responsabilidad y de acuerdo a las leyes aplicables en tu jurisdicción.