You can deploy this model and start earning money today!

void0x14/
echo

Name: echo
Rating: 2.5 (76 reviews)

Views

No views yet

echo — Qwen3.5-0.8B Multimodal (Q4_K_M)

Hafif, hızlı, kayıpsız multimodal model. AMD RX460 2GB VRAM / Ryzen 5 3600 CPU için optimize. Gated DeltaNet hybrid attention sayesinde KV cache klasik modelin ~4'te 1'i; uzun kontekst düşük donanımda pratik.

Yaklaşım: Quantize ET — Budama YAPMA

Orijinal Qwen/Qwen3.5-0.8B-Base (native early-fusion multimodal) olduğu gibi Q4_K_M'e quantize edildi. Budama YOK, yeniden eğitim YOK — kod + vision + reasoning yeteneği kayıpsız korunur.

Neden budama değil? (derin literatür + ölçüm)

24→4 katman budama = %83 derinlik kaybı. Literatür (Gromov ICLR'25, ShortGPT, Minitron): generative modellerde güvenli bölge %15-25 derinlik kaybı; %30 üstünde kod/reasoning ÇÖKER.
F2LLM-v2 "ilk N blok" tarifi embedding modellerine özgüdür; generative/kod üreten modele taşınmaz.
Ölçüldü: %0 kod verisiyle distill → catastrophic forgetting; budanmış model kod yazamadı, orijinal Q4_K_M kod+vision+reasoning hepsini koruyor.
Qwen3.5-0.8B Q4_K_M (497 MiB) zaten RX460 2GB'a SIĞIYOR ve hızlı → budamak gereksiz.

Dosyalar

Dosya	Açıklama	Boyut
`MVP/artifacts/gguf-vision/qwen35-text-Q4_K_M.gguf`	Text backbone (24 katman, orijinal)	497 MiB
`MVP/artifacts/gguf-vision/mmproj-F32.gguf`	Vision projector (mmproj)	402 MiB

Benchmark (RX460, Vulkan, n_batch=512, fa=1)

Model	size	backend	ngl	test	t/s
qwen35 0.8B Q8_0	763.78 MiB	Vulkan	99	tg128	78.34
qwen35 0.8B Q4_K_M	497.39 MiB	Vulkan	99	tg128	85.10
qwen35 0.8B Q4_K_M	497.39 MiB	Vulkan	99	pp4096	684.35
qwen35 0.8B Q4_K_M	497.39 MiB	Vulkan	0 (CPU)	tg128	47.83

Q4_K_M, Q8_0'dan HIZLI (85 vs 78 t/s) ve daha küçük.
Konfigürasyon: default context 4k (hız/gecikme tatlı noktası); gerekirse max 16k'ya genişletilebilir.
Model + KV cache GPU'da (ngl=99).
Gated DeltaNet: tg128, pp2048→pp16384 arası sabit ~85 t/s (KV cache şişmez).

Doğrulama (ölçüldü)

llama-mtmd-cli ile CPU (ngl=0) VE GPU Vulkan (ngl=99) multimodal test: çizilen test sahnesini kusursuz tanımladı — "A minimalist landscape features a brown house with a red roof, a green field, and a yellow sun in a blue sky." (kahverengi ev + kırmızı çatı + yeşil alan + sarı güneş + mavi gökyüzü). Chain-of-thought reasoning çalışıyor.
block_count=24 doğrulandı (orijinal, budanmamış).

Kullanım

bash

llama-mtmd-cli \
  -m MVP/artifacts/gguf-vision/qwen35-text-Q4_K_M.gguf \
  --mmproj MVP/artifacts/gguf-vision/mmproj-F32.gguf \
  --image FOTO.jpg -p "Describe this image." \
  -c 4096 -ngl 99 --image-min-tokens 1024

⚠️⚠️ ROADMAP — GELECEK OPSİYONLARI (UNUTMA!) ⚠️⚠️

İLERİDE HIZLAR YETMEZSE GEREKEBİLİR — ŞU ÜÇ YÖNDEN BİRİNE GİDİLEBİLİR: 1) BİTİ DÜŞÜRMEK (Q4_K_M → Q3/IQ3 — DİKKAT: kodlama quant'a EN hassas görev, 3-bit uçurum kenarı, 2-bit çöküş), VEYA 2) MODEL PARAMETRESİNİ DÜŞÜRMEK (dikkatli/az budama + MUTLAKA kod verili distill), VEYA 3) MODEL PARAMETRESİ + BİTİ BİRLİKTE DÜŞÜRMEK. GEREKİRSE BU YOLLARA BAŞVURULACAK. ŞU AN Q4_K_M + ORİJİNAL 0.8B YETERLİ VE KAYIPSIZ.

void0x14/echo