You can deploy this model and start earning money today!

madcatlab/
Qwen-4B-Marketing

Name: Qwen-4B-Marketing
Availability: InStock

Views

No views yet

Qwen-4B-Marketing

Mad Cat Lab tarafından dijital pazarlama ve marketing mix diyalogları için ince ayarlanmış 4B parametreli dil modeli. GGUF formatında, CPU'da çalışır, ekran kartı gerektirmez.

Alan	Değer
Parametre	4B
Quantization	Q4_K_M (~4.7 bit/parametre)
Bağlam	262.144 token'a kadar
Diller	Türkçe, İngilizce
Lisans	Apache-2.0

Depo iki formatı birlikte içerir:

Format	Dosya	Kullanım
GGUF (Q4_K_M)	`Qwen-4B-Marketing-Q4_K_M.gguf` · 2.78 GB	CPU'da llama.cpp ile
Safetensors (bf16)	`model.safetensors-*` · 9.3 GB	GPU'da transformers / vLLM ile

İndirme

Sadece GGUF (CPU kullanımı için yeterli):

bash

pip install -U huggingface_hub
hf download madcatlab/Qwen-4B-Marketing Qwen-4B-Marketing-Q4_K_M.gguf --local-dir .

Tam model (transformers / vLLM için):

hf download madcatlab/Qwen-4B-Marketing --local-dir ./Qwen-4B-Marketing

⚠️ Zorunlu ayar: `enable_thinking=false`

Model iç muhakeme bloğu açar ancak kapatmaz. Bu ayar verilmezse OpenAI uyumlu API yanıtında content alanı boş döner, metin reasoning_content alanına gider ve standart istemciler boş cevap görür.

Ölçülen davranış (/v1/chat/completions, aynı soru):

Ayar	`content`	`reasoning_content`	Sonuç
varsayılan	0	686	❌ boş cevap
`--reasoning-format none`	619	0	⚠️ etiket metne karışır
`enable_thinking=false`	510	0	✅ temiz

Kullanım

llama.cpp — sunucu (önerilen)

OpenAI uyumlu endpoint açar, mevcut entegrasyonlara doğrudan takılır.

bash

llama-server -m Qwen-4B-Marketing-Q4_K_M.gguf \
  -c 16384 -t 8 \
  --chat-template-kwargs '{"enable_thinking":false}' \
  --cache-type-k q8_0 --cache-type-v q8_0 \
  --port 8080

Test:

bash

curl http://localhost:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"messages":[
        {"role":"system","content":"Sen dijital pazarlama uzmanısın."},
        {"role":"user","content":"ROAS nedir?"}]}'

llama.cpp — komut satırı

bash

llama-cli -m Qwen-4B-Marketing-Q4_K_M.gguf -c 16384 -t 8 \
  --chat-template-kwargs '{"enable_thinking":false}' \
  -sys "Sen dijital pazarlama uzmanısın."

transformers (GPU)

python

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "madcatlab/Qwen-4B-Marketing"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype="auto", device_map="auto")

messages = [
    {"role": "system", "content": "Sen dijital pazarlama uzmanısın."},
    {"role": "user", "content": "ROAS nedir?"},
]
inputs = tok.apply_chat_template(
    messages,
    add_generation_prompt=True,
    enable_thinking=False,          # ← zorunlu, yukarıdaki uyarıya bakın
    return_tensors="pt",
).to(model.device)

out = model.generate(inputs, max_new_tokens=512)
print(tok.decode(out[0][inputs.shape[-1]:], skip_special_tokens=True))

vLLM

vllm serve madcatlab/Qwen-4B-Marketing --max-model-len 16384

Ollama — şu an desteklenmiyor ⚠️

Ollama 0.32.5 bu modeli çalıştıramıyor. Model başarıyla oluşturuluyor ve metadata doğru okunuyor, ancak yükleme sırasında motor çöküyor:

Error: 500 Internal Server Error: llama-server process has terminated: signal: killed

Sebep: modelin katmanlarının çoğu lineer dikkat (SSM) kullanıyor ve Ollama'nın gömülü motoru bu katman tipini henüz implemente etmiyor. Bağlam boyutundan veya bellekten kaynaklanmıyor — 2048 bağlamla da aynı hata alınıyor.

Depodaki Modelfile doğru yapılandırılmıştır; Ollama bu mimariyi desteklediğinde değişiklik yapmadan çalışacaktır. O zamana kadar llama.cpp kullanın.

Donanım gereksinimi

GPU / VRAM gerekmez. Katmanların yalnızca dörtte biri klasik dikkat kullanır, kalanı lineer dikkattir; bu yüzden KV cache olağandışı küçüktür (token başına ~32 KB) ve uzun bağlam RAM sorunu çıkarmaz.

Bağlam	KV cache	Toplam RAM
4K	0.13 GB	~3.4 GB
16K	0.54 GB	~3.8 GB
32K	1.07 GB	~4.3 GB
128K	4.29 GB	~7.5 GB

8 GB RAM'li bir ofis bilgisayarında 16K bağlamla rahat çalışır. --cache-type-k q8_0 --cache-type-v q8_0 ile KV cache yarıya iner.

Ölçülen hız (Apple M4 Max, saf CPU)

Thread	Prompt işleme	Token üretimi
4	101 t/s	36.1 t/s
8	172 t/s	52.4 t/s
12	155 t/s	25.8 t/s

Thread sayısını fiziksel performans çekirdeği kadar ayarlayın. Verimlilik çekirdeklerine taşmak senkronizasyon nedeniyle üretimi yavaşlatır.

Token üretimi bellek bant genişliğine bağlıdır. Tipik bir DDR5 dizüstünde (~90 GB/s) yaklaşık 11 t/s beklenir — ortalama okuma hızının üzerinde.

Kullanım amacı ve sınırlar

Türkçe/İngilizce pazarlama, reklam, SEO ve strateji odaklı soru-cevap.
Sistem prompt'u ile asistan/chatbot senaryolarında kullanım.
Üretilen metinler doğrulanmadan yasal, finansal veya kritik iş kararlarında kullanılmamalıdır.
Güncel platform politikaları ve rakamsal gerçekler için harici doğrulama gerekir; model tarih ve rakam üretirken yanılabilir.
Quantization, ince ayarın kattığı ton ve format davranışında küçük kayıplara yol açabilir.

Lisans

Apache-2.0. Model, Apache-2.0 lisanslı bir temel model üzerine LoRA yöntemiyle ince ayarlanmıştır; türev eser aynı lisans altında dağıtılmaktadır.

Mad Cat Lab · 2026

madcatlab/Qwen-4B-Marketing

Qwen-4B-Marketing

İndirme

⚠️ Zorunlu ayar: enable_thinking=false

Kullanım

llama.cpp — sunucu (önerilen)

llama.cpp — komut satırı

transformers (GPU)

vLLM

Ollama — şu an desteklenmiyor ⚠️

Donanım gereksinimi

Ölçülen hız (Apple M4 Max, saf CPU)

Kullanım amacı ve sınırlar

Lisans

madcatlab/
Qwen-4B-Marketing

⚠️ Zorunlu ayar: `enable_thinking=false`