Modelo Qwen3.5 (2B) multimodal, mergeado. Arquitectura Qwen3_5ForConditionalGeneration: 24 capas con stack hibrido 3:1 (18 linear_attention + 6 full_attention) y torre de vision incluida.

Pesos: BF16, 4.55 GB, un unico shard (model.safetensors)
Vocab: 248320 · hidden: 2048
Contexto declarado: 262144 (max_position_embeddings)

Despliegue

Requiere transformers >= 5.2 (soporte de model_type: qwen3_5). El contenedor por defecto de Inference Endpoints no es compatible: usa huggingface-inference-toolkit, clavado a transformers==4.51.3.

Ver DEPLOY_VLLM.md para la configuracion de despliegue con vLLM y los riesgos conocidos.

Uso local

python

from transformers import AutoProcessor, AutoModelForImageTextToText

model = AutoModelForImageTextToText.from_pretrained(
    "GParlatto/spoky-qwen-merged-v2",
    dtype="auto",
    device_map="auto",
)
processor = AutoProcessor.from_pretrained("GParlatto/spoky-qwen-merged-v2")

messages = [{"role": "user", "content": "Hola, quien eres?"}]
inputs = processor.apply_chat_template(
    messages, tokenize=True, add_generation_prompt=True,
    return_dict=True, return_tensors="pt",
).to(model.device)

out = model.generate(**inputs, max_new_tokens=200)
print(processor.batch_decode(out[:, inputs["input_ids"].shape[-1]:],
                             skip_special_tokens=True)[0])

Tokens de parada

La plantilla de chat cierra cada turno con <|im_end|> (248046). El generation_config.json acepta tanto ese como <|endoftext|> (248044).