Büyük dil modellerinin spesifik bir alanda nasıl uzmanlaştırılabileceğini göstermek amacıyla akademik bir proje kapsamında geliştirilmiştir. Model, Marvel evreni, çizgi roman tarihçesi ve karakter kökenleri hakkında Türkçe dilinde fine-tuning işleminden geçmiştir.

Eğitim Detayları

Taban Model: unsloth/llama-3-8b-bnb-4bit
Eğitim Yöntemi: LoRA
Kullanılan Kütüphaneler: unsloth, trl, peft, transformers
LoRA Parametreleri: r=16, lora_alpha=16, lora_dropout=0
Eğitim Adımı: 60 Adım
Donanım: Google Colab (T4 GPU)

Eğitim Verisi

Model, web scraping ve veri çoğaltma (data augmentation) yöntemleriyle sıfırdan oluşturulan Egertekin/marvel-domain-dataset kullanılarak eğitilmiştir. Eğitim sırasında standart Alpaca Instruction/Output şablonu kullanılmıştır.

Kullanım

Bu LoRA adaptörünü Unsloth veya standart Hugging Face peft kütüphanesi ile ana modele (Llama-3) entegre ederek doğrudan çalıştırabilirsiniz.

Unsloth ile Kullanım Örneği:

python

from unsloth import FastLanguageModel

# Taban model ve geliştirdiğimiz LoRA adaptörünün birlikte yüklenmesi
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "Egertekin/marvel-lora-adapter",
    max_seq_length = 2048,
    dtype = None,
    load_in_4bit = True,
)

# Modeli çıkarım (inference) moduna alma
FastLanguageModel.for_inference(model)

alpaca_prompt = """Aşağıdaki bir görevi veya soruyu tanımlayan talimattır. Talebi uygun şekilde tamamlayan bir yanıt yazın.

### Talimat:
Wolverine'in iskeleti hangi metalden yapılmıştır?

### Yanıt:
"""

# Soruyu modele iletme ve yanıt üretme
inputs = tokenizer([alpaca_prompt], return_tensors = "pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens = 64, use_cache = True)
print(tokenizer.batch_decode(outputs))



------------------------------------------------------------

## MMLU Benchmark Karşılaştırması

Modelimizin bilgi işleme ve çoklu görev kavrama yeteneğini ölçmek amacıyla, Türkçe MMLU benchmark testi uygulanmıştır. Test sonuçları, uygulanan LoRA Fine-Tuning işleminin modelde "catastrophic forgetting" yol açmadığını ve modelin genel başarı oranını baz modele göre yukarı taşıdığını bilimsel olarak kanıtlamaktadır.

| Model / Versiyon | Test Edilen Model Adı | Türkçe MMLU Genel Skoru (Accuracy) |
| :--- | :--- | :---: |
| **Base Model (Eğitimsiz)** | `unsloth/llama-3-8b-bnb-4bit` | % 19.82 |
| **Fine-Tuned Model (LoRA)** | `Egertekin/marvel-lora-adapter` | **% 20.82** |

*Not: Test, `alibayram/yapay_zeka_turkce_mmlu_bolum_sonuclari` veri seti ve Hugging Face `SentenceTransformer` anlamsal benzerlik metrikleri kullanılarak Google Colab (T4 GPU) ortamında tüm sorular üzerinden çalıştırılmıştır.*


------------------------------------------------------------



## Özel Domain Benchmark Testi (Marvel Evreni Bilgi Doğruluğu)

Modelin fine-tune edildiği spesifik senaryodaki (Marvel Evreni, karakter arka planları ve olay örgüleri) tutarlılığını ölçmek amacıyla, eğitim setine **kesinlikle dahil edilmemiş** yepyeni bir Benchmark oluşturulmuştur. 

Orijinal veri setinin yaklaşık **%11lik** hacmine denk gelen bu özel test seti, modelin daha önce hiç görmediği 20 adet, 5 şıklı (A, B, C, D, E) ve zorluk derecesi yüksek sorudan oluşmaktadır. Test, 4-bit kuantizasyon standartlarına uygun olarak doğrudan zero-shot formatta gerçekleştirilmiş; çıktıların analizi için Regex tabanlı bir ayrıştırıcı kullanılmıştır.

### 📊 Marvel-Bench V2 Sonuçları

| Değerlendirme Kriteri | Sonuç |
| :--- | :--- |
| **Toplam Soru Sayısı** | 20 (Eğitim Verisinin ~%11i) |
| **Doğru Cevap Sayısı** | 8 |
| **Başarı Oranı** | **%40.00** |
| **Inference Süresi** | 21.29 Saniye |
| **Üretim Hızı** | 1.88 Token/Saniye |
| **Test Senaryosu** | Türkçe Marvel Evreni Bilgi Doğruluğu |

**Sonuç Analizi:** Model, 5 şıklı zero-shot test formatinda rastgele başari oranının (%20) iki katı olan **%40.00** doğruluğa ulaşarak domain spesifik bilgileri öğrendiğini göstermiştir. Ancak test çıktıları incelendiğinde, modelin emin olamadığı sorularda "B" şıkkını seçme eğilimi gösterdiği (Positional/Token Bias) tespit edilmiştir. Bu durum, modelin Instruction-Tuning aşamasında çoktan seçmeli formatlardan ziyade serbest metin üretimine daha yatkın olduğunu kanıtlamaktadır.