madcatlab/Qwen3.5-4B-Marketing modelinin llama.cpp / GGUF formatına dönüştürülmüş hali. Mad Cat Lab tarafından dijital pazarlama ve marketing mix diyalogları için ince ayarlanmıştır.

Alan	Değer
Kaynak model	madcatlab/Qwen3.5-4B-Marketing
Taban mimari	`unsloth/Qwen3.5-4B` (`qwen3_5`)
Quantization	Q4_K_M
Dosya boyutu	2.6G
Lisans	Apache-2.0
Diller	Türkçe, İngilizce

Dosya

Dosya	Quant	Boyut
`qwen-madcatlabs-4b-Q4_K_M.gguf`	Q4_K_M	2.6G

Q4_K_M saf 4-bit değildir: K-quant reçetesinde attn_v ve ffn_down tensörleri daha yüksek hassasiyette bırakılır, ortalama ~4.7 bit/parametre olur.

Donanım gereksinimi

Model GPU gerektirmez, CPU'da çalışır. Katmanların yalnızca ¼'ü full-attention, kalanı lineer dikkat olduğu için KV cache olağandışı küçüktür (token başına ~32 KB).

Bağlam	KV cache	Toplam RAM
4K	0.13 GB	~3.4 GB
16K	0.54 GB	~3.8 GB
32K	1.07 GB	~4.3 GB
128K	4.29 GB	~7.5 GB

8 GB RAM'li bir makinede 16K bağlamla rahat çalışır.

--cache-type-k q8_0 --cache-type-v q8_0 ile KV cache yarıya iner.

Ölçülen hız (Apple M4 Max, saf CPU, `-dev none`)

Thread	Prompt işleme	Token üretimi
4	101 t/s	36.1 t/s
8	172 t/s	52.4 t/s
12	155 t/s	25.8 t/s

Thread sayısını fiziksel performans çekirdeği sayısıyla sınırlayın. Verimlilik çekirdeklerine taşmak senkronizasyon nedeniyle üretimi yavaşlatır.

Token üretimi bellek bant genişliğine bağlıdır. Tipik bir DDR5 dizüstünde (~90 GB/s) yaklaşık 11 t/s beklenir — okuma hızının üzerinde.

⚠️ Önemli: `enable_thinking=false` zorunlu

Bu model <think> bloğunu açar ama kapatmaz — cevabın tamamı kapanmamış düşünce bloğunun içinde kalır. Varsayılan ayarlarla llama-server kullanırsanız OpenAI uyumlu yanıtta content alanı boş döner, metin reasoning_content alanına gider. Standart istemciler yalnızca content okuduğu için entegrasyon her istekte boş cevap alır.

Ölçülen davranış (/v1/chat/completions, aynı soru):

Ayar	`content`	`reasoning_content`	Sonuç
varsayılan	0	686	❌ boş cevap
`--reasoning-format none`	619	0	⚠️ `<think>` etiketi metne karışır
`--chat-template-kwargs '{"enable_thinking":false}'`	510	0	✅ temiz

Chat template enable_thinking false iken önceden kapatılmış boş blok (<think>\n\n</think>) yazar ve model cevabı doğrudan içerik olarak üretir.

Kullanım

llama.cpp — sunucu (önerilen)

bash

llama-server -m qwen-madcatlabs-4b-Q4_K_M.gguf -c 16384 -t 8 \
  --chat-template-kwargs '{"enable_thinking":false}' \
  --cache-type-k q8_0 --cache-type-v q8_0 --port 8080

llama.cpp — CLI

bash

llama-cli -m qwen-madcatlabs-4b-Q4_K_M.gguf -c 16384 -t 8 \
  --chat-template-kwargs '{"enable_thinking":false}' \
  -sys "Sen dijital pazarlama uzmanısın."

Ollama

bash

ollama create Qwen3.5-4B-Marketing -f Modelfile
ollama run Qwen3.5-4B-Marketing

Kullanım amacı ve sınırlar

Türkçe/İngilizce pazarlama, reklam, SEO ve strateji odaklı soru-cevap.
Sistem prompt'u ile asistan/chatbot senaryolarında kullanım.
Üretilen metinler doğrulanmadan yasal, finansal veya kritik iş kararlarında kullanılmamalıdır.
Güncel platform politikaları ve rakamsal gerçekler için harici doğrulama gerekir.
Quantization, ince ayarın kattığı ton/format davranışında küçük kayıplara yol açabilir. Hassasiyet öncelikliyse Q5_K_M veya Q6_K tercih edin.

Atıf

bibtex

@misc{madcatlab_qwen35_4b_marketing_gguf,
  title        = { Qwen3.5-4B-Marketing-GGUF },
  author       = {madcatlab},
  year         = {2026},
  howpublished = {\url{https://huggingface.co/madcatlab/Qwen3.5-4B-Marketing}},
  note         = {GGUF conversion of a LoRA fine-tune of unsloth/Qwen3.5-4B}
}

madcatlab/Qwen3.5-4B-Marketing-GGUF

Qwen3.5-4B-Marketing-GGUF

Dosya

Donanım gereksinimi

Ölçülen hız (Apple M4 Max, saf CPU, -dev none)

⚠️ Önemli: enable_thinking=false zorunlu

Kullanım

llama.cpp — sunucu (önerilen)

llama.cpp — CLI

Ollama

Kullanım amacı ve sınırlar

Atıf

madcatlab/
Qwen3.5-4B-Marketing-GGUF

Ölçülen hız (Apple M4 Max, saf CPU, `-dev none`)

⚠️ Önemli: `enable_thinking=false` zorunlu