✅ Fine-tuned on 6,886 Turkish electronics conversations ✅ Evaluated on General LLM Benchmarks (MMLU, GSM8K, Turkish MMLU) ✅ Evaluated on a custom Turkish Electronics Benchmark developed in this project

🇹🇷 Qwen3-1.7B Turkish Electronics LoRA V2

Qwen3-1.7B modelinin Türkçe elektronik ürün karşılaştırma ve öneri görevleri için LoRA (Low-Rank Adaptation) yöntemiyle fine-tune edilmiş adapter sürümüdür.

Model, Türkçe elektronik ürün karşılaştırma ve öneri konuşmalarından oluşan özel bir chat dataset üzerinde Unsloth ve TRL kullanılarak Supervised Fine-Tuning (SFT) yöntemiyle eğitilmiştir.

Model Details

Developed by: sedayzc
Base Model: unsloth/qwen3-1.7b-unsloth-bnb-4bit
Architecture: Qwen3-1.7B
Fine-Tuning Method: LoRA
Training Framework: Unsloth + TRL
Training Type: Supervised Fine-Tuning (SFT)
Language: Turkish
Domain: Electronics Product Recommendation & Comparison
License: Apache-2.0

Dataset

Model aşağıdaki Hugging Face dataset üzerinde fine-tune edilmiştir:

sedayzc/turkish-electronics-product-comparison-recommendation

Kullanılan V2 dataset toplam 6.886 chat örneği içermektedir:

Product Comparison: 4.851
Product Recommendation: 2.035
Total: 6.886

Dataset chat formatındadır:

json

{
  "messages": [
    {
      "role": "user",
      "content": "Fiyat performans açısından hangi Laptop modelini önerirsin?"
    },
    {
      "role": "assistant",
      "content": "..."
    }
  ]
}

Intended Use

Model aşağıdaki Türkçe elektronik ürün sorguları için fine-tune edilmiştir:

Elektronik ürün önerisi
Bütçe bazlı ürün önerisi
Fiyat-performans odaklı ürün önerisi
Kullanıcı puanı bazlı ürün önerisi
Elektronik ürün karşılaştırma
Alternatif ürün önerme

Örnek sorgular:

text

En iyi fiyat performans Lenovo laptop önerisinde bulun.

30.000 TL bütçeyle hangi laptopu önerirsin?

HP Victus ile Lenovo LOQ modellerini karşılaştırır mısın?

Kullanıcı puanlarına göre iyi bir oyuncu laptopu önerir misin?

Training Configuration

LoRA aşağıdaki modüllere uygulanmıştır:

text

q_proj
k_proj
v_proj
o_proj
gate_proj
up_proj
down_proj

Temel eğitim parametreleri:

Parameter	Value
LoRA Rank	8
LoRA Alpha	16
LoRA Dropout	0
Quantization	4-bit
Max Sequence Length	1024
Epochs	1
Batch Size	1
Gradient Accumulation Steps	8
Learning Rate	2e-4
Optimizer	AdamW 8-bit

Training Hardware

Fine-tuning lokal olarak aşağıdaki GPU üzerinde gerçekleştirilmiştir:

text

GPU: NVIDIA GeForce RTX 4050 Laptop GPU
VRAM: 6 GB

4-bit quantization ve Unsloth optimizasyonları kullanılarak model 6 GB VRAM üzerinde LoRA ile fine-tune edilmiştir.

Training Results

Metric	Result
Training Steps	818
Epochs	1
Training Loss	0.4207
Training Runtime	~51 minutes

Usage

Bu repository tam model ağırlıkları yerine LoRA adapter ağırlıklarını içermektedir.

Model Unsloth kullanılarak aşağıdaki şekilde yüklenebilir:

python

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="sedayzc/qwen3-1.7b-turkish-electronics-lora-v2",
    max_seq_length=1024,
    dtype=None,
    load_in_4bit=True,
)

FastLanguageModel.for_inference(model)

Örnek inference:

python

messages = [
    {
        "role": "user",
        "content": "30.000 TL bütçeyle hangi laptopu önerirsin?"
    }
]

prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=False,
)

inputs = tokenizer(
    prompt,
    return_tensors="pt",
    add_special_tokens=False,
).to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=300,
)

response = tokenizer.decode(
    outputs[0][inputs["input_ids"].shape[1]:],
    skip_special_tokens=True,
)

print(response)

📊 Benchmark Evaluation

Model yalnızca eğitim kaybı (training loss) ile değerlendirilmemiş, aynı zamanda hem genel amaçlı LLM benchmarkları hem de bu çalışma kapsamında geliştirilen elektronik ürün benchmarkları üzerinde test edilmiştir.

Değerlendirme dört aşamada gerçekleştirilmiştir.

1. General LLM Benchmarks

Fine-tuning sonrasında modelin genel muhakeme yeteneğinin korunup korunmadığını incelemek amacıyla MMLU, GSM8K ve Turkish MMLU benchmarkları uygulanmıştır.

Benchmark	Base	LoRA
MMLU	50.60%	51.40%
GSM8K	50.40%	24.00%
Turkish MMLU	34.80%	32.40%

Bu sonuçlar, elektronik ürün odaklı fine-tuning yapılmasına rağmen modelin genel muhakeme yeteneğini büyük ölçüde koruduğunu göstermektedir. GSM8K performansındaki düşüş beklenen bir durumdur çünkü eğitim sürecinde matematiksel muhakemeye yönelik herhangi bir veri kullanılmamıştır.

2. Turkish Electronics Domain Benchmark

Mevcut benchmarklar elektronik ürün önerisi ve karşılaştırma görevlerini doğrudan değerlendiremediği için bu proje kapsamında yeni bir benchmark geliştirilmiştir.

Benchmark aşağıdaki görevleri kapsamaktadır.

Recommendation

Cheapest Product
Highest Rated Product
Most Reviewed Product
Best Value Product

Comparison

Cheaper Product
Higher Rated Product
More Reviewed Product
More Favorited Product
Better Value Product

Benchmark, modelin yalnızca doğru ürünü seçmesini değil, aynı zamanda kullanıcı isteğini doğru yorumlamasını ve doğal dilde açıklama üretebilmesini de değerlendirmektedir.

3. Electronics Benchmark V3.1

Benchmark'ın son sürümünde model cevapları yeniden puanlanarak aşağıdaki davranışlar ölçülmektedir.

Selection Accuracy
Robust Accuracy
Permutation Consistency
Numeric Claim Coverage
Technical Claim Coverage
Technical Claim Factuality
Valid Prediction
Hallucination-Free Response

Recommendation

Metric	Base	LoRA
Selection Accuracy	26.00	28.25
Robust Accuracy	10.50	12.50
Technical Factuality	72.33	78.40

Comparison

Metric	Base	LoRA
Selection Accuracy	49.00	51.25
Robust Accuracy	40.50	43.00
Technical Claim Coverage	18.25	79.50
Technical Factuality	67.12	84.43

Benchmark Summary

Benchmark sonuçları LoRA fine-tuning'in modelin genel bilgi seviyesinden ziyade elektronik ürün önerisi alanındaki davranışını değiştirdiğini göstermektedir.

Fine-tuned model;

elektronik ürün terminolojisini daha doğru kullanabilmekte,
teknik özelliklerden daha fazla bahsedebilmekte,
farklı prompt sıralamalarına karşı daha kararlı davranabilmekte,
geçerli ürün seçme oranını artırabilmektedir.

Bununla birlikte model hâlen ürün seviyesinde muhakeme, çoklu kısıtları aynı anda uygulama ve teknik doğruluk açısından geliştirilmeye açıktır.

Resources

Base Model: unsloth/qwen3-1.7b-unsloth-bnb-4bit
Dataset: sedayzc/turkish-electronics-product-comparison-recommendation
LoRA Adapter: sedayzc/qwen3-1.7b-turkish-electronics-lora-v2
GitHub: https://github.com/ssedayzc/turkish-electronics-qwen3-lora

This Qwen3 model was fine-tuned with Unsloth.