Bu repo, google/gemma-4-12B modelinin Türkçe CETVEL görevlerine yönelik completion eğitimi sonucunda üretilen LoRA adapter artifact'ini içerir. Eğitim pipeline'ı Cumhur Onat tarafından hazırlanmıştır.

Çalışma durumu: Tek referans reçetesiyle tamamlanan 3 epoch LoRA eğitimi.

Birleştirilmiş model: cumhuronat/gemma-4-12b-cetvel-merged

Amaçlanan kullanım

Model; Türkçe soru cevaplama, çoktan seçmeli soru çözme, sınıflandırma, doğal dil çıkarımı, çeviri, özetleme ve dilbilgisel düzeltme deneyleri için tasarlanmıştır. Prompt/completion biçiminde eğitilmiştir; chat veya instruction-tuned bir model olduğu varsayılmamalıdır.

Kullanım

bf16 destekleyen bir GPU önerilir. Gerekli runtime paketleri:

pip install "transformers>=5.5" peft accelerate sentencepiece

python

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

tokenizer = AutoTokenizer.from_pretrained("google/gemma-4-12B")
base = AutoModelForCausalLM.from_pretrained(
    "google/gemma-4-12B", dtype=torch.bfloat16, device_map="auto"
)
model = PeftModel.from_pretrained(base, "cumhuronat/gemma-4-12b-cetvel")

prompt = "Soru: Türkiye'nin başkenti neresidir?\nCevap:"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=64, do_sample=False)
answer = output[0, inputs["input_ids"].shape[1]:]
print(tokenizer.decode(answer, skip_special_tokens=True))

Eğitim verisi

Dataset: cumhuronat/cetvel-training-data
Referans reçete: 29 kaynak
Hedef token bütçesi: 5,225,000
Reçete SHA-256: afd64ba5cfb54e330175d0e82438241e19be4657cdd4371360f7feea72a4196c
Seed: 42
Decontamination: açık

Karışım; CETVEL biçimindeki eğitim split'lerini, Türkçe/İngilizce instruction verisini, sentetik görev örneklerini ve deterministik cevap-formatı örneklerini içerir. Decontamination açıkken eğitim örnekleri CETVEL değerlendirme split'leri ile normalize 8-gram çakışmasına karşı elenir. Dataset'in ve bileşenlerinin lisansları model lisansından bağımsızdır.

Eğitim yapılandırması

Alan	Değer
Base model	`google/gemma-4-12B`
Donanım	`1x NVIDIA H200` (RunPod)
Precision	bf16; TF32 `açık`
Sequence length	`4096`
Eğitim süresi	3 epoch
LoRA rank / alpha / dropout	`32` / `64` / `0.05`
LoRA+ LR oranı	`16`
Learning rate / scheduler	`0.0002` / `cosine`
Micro batch / gradient accumulation	`4` / `4`
Optimizer	`adamw_torch_fused`
Attention	`sdpa`
Container	`axolotlai/axolotl-cloud@sha256:86c9c1920f4cb546034cade360e0bcdaae7accf5abb23d22adcce68bd83e00bd`

LoRA hedef modülleri: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj.

CETVEL değerlendirmesi

Model ve google/gemma-4-12B baseline'ı aynı official CETVEL protokolüyle değerlendirildi. LoRA adapter ile birleştirilmiş model aynı eğitilmiş LoRA ağırlıklarını temsil eder; aşağıdaki fine-tuned sonuçlar cumhuronat/gemma-4-12b-cetvel-merged üzerinden ölçüldü.

CETVEL ölçümü	`google/gemma-4-12B`	Eğitilmiş model	Fark
Genel skor	32.84	51.22	+18.38
Soru cevaplama (QA)	22.57	42.20	+19.62
Çoktan seçmeli (MCQA)	59.12	61.83	+2.72
Metin sınıflandırma (TC)	40.10	61.14	+21.04
Doğal dil çıkarımı (NLI)	32.64	57.43	+24.79
Makine çevirisi (MT)	23.49	23.83	+0.35
Özetleme (SUM)	11.74	20.79	+9.05
Dilbilgisel düzeltme (GEC)	40.22	91.34	+51.12

Genel skor, yedi kategori skorunun makro ortalamasıdır. Eğitilmiş model baseline'a göre +18.38 puan ve göreli olarak %55.98 artış gösterdi. Skorlar 0-100 ölçeğindedir.

Görev bazında sonuçlar

Görev	`google/gemma-4-12B`	Eğitilmiş model	Fark
`belebele_tr`	76.67	77.56	+0.89
`bilmecebench`	58.37	50.23	-8.14
`circumflex_tr`	61.43	61.43	+0.00
`exams_tr`	34.10	41.73	+7.63
`gecturk_generation`	40.22	91.34	+51.12
`ironytr`	50.33	67.00	+16.67
`mkqa_tr`	15.86	12.80	-3.06
`mlsum_tr`	25.31	30.31	+5.00
`news_cat`	82.40	92.40	+10.00
`nli_tr`	32.64	57.43	+24.79
`offenseval_tr`	22.99	86.37	+63.38
`sts_tr`	14.58	38.22	+23.64
`tquad`	24.22	57.74	+33.52
`tr-wikihow-summ`	4.66	14.77	+10.11
`trclaim19`	40.72	58.59	+17.87
`turkce_atasozleri`	58.67	82.72	+24.05
`turkish_plu`	55.04	54.88	-0.17
`turkishmmlu`	58.44	55.11	-3.33
`wiki_lingua_tr`	7.12	17.56	+10.44
`wmt-en-tr-prompt`	32.96	29.05	-3.90
`wmt-tr-en-prompt`	14.02	18.62	+4.60
`xcopa_tr`	70.20	71.00	+0.80
`xfact_tr`	29.59	24.26	-5.33
`xlsum_tr`	9.88	20.53	+10.65
`xquad_tr`	27.65	56.05	+28.40

Değerlendirme 20 Temmuz 2026 UTC tarihinde tamamlandı. Kullanılan protokol:

CETVEL görev kaynağı: commit 6119c517e06cce23aaeac103ce3504c9380655e3
Değerlendirme altyapısı: lm-eval==0.4.12
Ayarlar: 0-shot, seed 42, azami giriş uzunluğu 8192
NLU: otomatik batch size
NLG: batch size 1, beam size 5, max_new_tokens=64; göreve özgü max_gen_toks tanımları önceliklidir
Donanım: RunPod üzerinde 8x NVIDIA A100-SXM4-80GB

Smoke sonuçları yalnızca teknik tanı içindir ve benchmark skoru olarak raporlanmamıştır.

Sınırlamalar

CETVEL odaklı eğitim, benchmark dışındaki genel yeteneklerde iyileşme garantisi vermez.
Sentetik ve açık kaynak veriler olgusal hata, önyargı veya zararlı içerik taşıyabilir.
Model yanlış, eski ya da güvenli olmayan yanıtlar üretebilir; yüksek riskli kullanımda insan doğrulaması gerekir.
Türkçe dışındaki diller ve chat biçimi sistematik olarak doğrulanmamıştır.

Lisans ve atıf

Model kullanımı Google Gemma şartlarına tabidir. Pipeline kodunun Apache-2.0 lisansı base modelin, dataset'lerin veya bu ağırlıkların lisansını değiştirmez. Veri kaynaklarının kullanım ve atıf koşullarını ayrıca inceleyin.

Pipeline atfı: Cumhur Onat, CETVEL Training (2026).