🧠 SykoLLM V6.0 - The Awakened Model
SykoLLM V6.0, SykoLLM ailesinin mimari sınırlarının zorlandığı, "Knowledge Bottleneck" (Kapasite Darboğazı) sorununu çözmek için özel ameliyatlardan geçmiş (Net2Net & Depth Up-Scaling) ve başarıyla uyanmış en yenilikçi modelidir.
Sınırlı donanım (2x Tesla T4) ile maksimum verimi almak amacıyla, modelin beyni sıfırdan eğitilmek yerine "Fonksiyon Koruyucu Genişletme" teknikleriyle büyütülmüş ve ardından özel bir ısınma (warmup) eğitimiyle yeni kapasitesine adapte edilmiştir.
🛠️ Mimari Genişletme (Architectural Up-Scaling)
İlk aşamada 1.5 Milyar token ile eğitilen 298M parametrelik temel model, yoğun ve karmaşık veri setini (Matematik, Kod, Türkçe, İngilizce) işlerken kapasite sınırına ulaştı (Loss 1.8 bandında takıldı). Bu darboğazı aşmak için modele şu operasyonlar uygulandı:
- Depth Up-Scaling (DUS): Katman sayısı (Hidden Layers) 18'den 24'e çıkarıldı. Yeni katmanlar, modelin mevcut mantıksal yeteneklerini korumak amacıyla önceki katmanlardan kopyalandı.
- Width Expansion (Net2Net): Modelin bilgi depolama alanı olan
intermediate_size 2304'ten 3072'ye (tam 3 katı) çıkarıldı. Catastrophic forgetting (yıkıcı unutma) yaşanmaması için eklenen bu yeni parametreler tam olarak 0.0 ile başlatıldı (Zero-initialized).
Sonuç olarak model boyutu ~398 Milyon parametreye (yaklaşık 784 MB) ulaştı ve kelime hazinesinin (vocab) model içindeki ağırlığı %18'lerden %13'e düşürülerek mantık yürütme kapasitesine daha fazla alan açıldı.
🔋 Uyanış Evresi (Continuous Pre-Training)
Modele eklenen yeni "0" ağırlıkların ve kopyalanan katmanların uyanması için model doğrudan eğitime sokulmadı.
- EBS (Effective Batch Size): 128
- Warmup: 200 step
- Veri: ~200K - 300K yüksek kaliteli örnek (Karışık Shuffle)
Bu hassas "Continuous Pre-training" aşaması sayesinde model hiçbir loss patlaması (spike) yaşamadan yeni bedenine adapte oldu ve eğitim loss değeri 1.8'den 1.6-1.7 bandına doğru başarılı bir düşüş trendine girdi. Yeni parametreler artık uyanık ve aktif olarak öğreniyor!
📊 Model Spesifikasyonları
| Özellik | Değer |
|---|
| Mimari | Phi-3 (Causal LM) |
| Toplam Parametre | ~398 Milyon |
Gizli Katman Boyutu (hidden_size) | 1024 |
Ara Katman Boyutu (intermediate_size) | 3072 (Genişletildi) |
Dikkat Başlığı Sayısı (num_attention_heads) | 8 |
Katman Sayısı (num_hidden_layers) | 24 (Genişletildi) |
Kelime Hazinesi (vocab_size) | 50.000 |
| Veri Tipi | float16 |
🗣️ Sohbet Formatı ve Özel Token'lar
Bu model aşağıdaki sohbet şablonuyla eğitilmiştir. BOS (Begin of Sentence) token'ı yoktur. Model doğrudan <|user|> ile başlar.
1<|user|>
2Kullanıcının mesajı<|end|>
3<|assistant|>
4Modelin yanıtı<|end|>
Kullanım (Inference)
Modeli kullanırken eos_token_id=3 olarak ayarlamayı unutmayın, aksi takdirde model metin üretmeyi durdurmaz.
1from transformers import AutoModelForCausalLM, AutoTokenizer
2import torch
3
4model_id = "SykoSLM/SykoLLM-V6.0"
5
6tokenizer = AutoTokenizer.from_pretrained(model_id)
7model = AutoModelForCausalLM.from_pretrained(
8 model_id,
9 torch_dtype=torch.float16,
10 device_map="auto"
11)
12
13def chat(user_message):
14 # BOS YOK — direkt <|user|> ile başlıyoruz
15 prompt = f"<|user|>\n{user_message}<|end|>\n<|assistant|>\n"
16
17 inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
18
19 with torch.no_grad():
20 outputs = model.generate(
21 **inputs,
22 max_new_tokens=512,
23 do_sample=True,
24 temperature=0.7,
25 top_p=0.9,
26 repetition_penalty=1.1,
27 eos_token_id=3, # <|end|> gelince dur
28 pad_token_id=4 # <|pad|>
29 )
30
31 generated = outputs[0][inputs["input_ids"].shape[1]:]
32 return tokenizer.decode(generated, skip_special_tokens=True)
33
34print(chat("Yapay zekada 'Depth Up-Scaling' nedir?"))
