Base model: Qwen/Qwen3.5-4B
LoRA: yoikoarmor/yoiko-Qwen3.5-4B-lora
Format: GGUF
Quantization: Q4_K_M
Converter/runtime: llama.cpp b9605
Note: Qwen3.5 GGUF conversion uses no-MTP output because the merged LoRA artifact does not include MTP tensors.

使い方

bash

llama-cli -m yoiko-img-prompt-gen-qwen3.5-4b-Q4_K_M.gguf ^
  -p "女性、高身長、ビジネススーツ、刀、赤と青の目とバラ、強者" ^
  -n 128 -c 1024 -ngl 999 --temp 0.7

-ngl 999 はGPUへ可能な限りoffloadする設定です。CPUだけで使う場合は -ngl 0 にしてください。

ベンチマーク

llama.cpp b9605, RTX 5090, -ngl 999, p16/tg8:

backend	prompt eval	token generation
CPU	138.81 t/s	16.29 t/s
CUDA	1908.76 t/s	190.27 t/s

注意

出力は画像生成用prompt候補です。最終的な安全性や品質は使用者側で確認してください。
Q4_K_MはF16と完全同一の出力にはなりませんが、サイズと速度のバランスが良い量子化です。

English

This is a GGUF Q4_K_M quantization of a LoRA-merged Qwen/Qwen3.5-4B model for image prompt generation. It is intended to rewrite short Japanese or English inputs into Stable Diffusion-style positive prompts.

yoikoarmor/yoiko-img-prompt-gen-qwen3.5-4b-Q4_K_M

yoiko-Qwen3.5-4B-GGUF

ファイル

元モデル

使い方

ベンチマーク

注意

English

yoikoarmor/
yoiko-img-prompt-gen-qwen3.5-4b-Q4_K_M