You can deploy this model and start earning money today!

Taklaxbr/
Turkcell-LLM-7b-v1

Name: Turkcell-LLM-7b-v1
Availability: InStock

safetensors

mistral

apache-2.0

Views

No views yet

Not: Bu modelin dokümantasyonu Türk yapay zeka topluluğuna katkı sağlamak amacıyla VeriPazarı tarafından Türkçeye çevrilmiştir. Orijinal model TURKCELL tarafından geliştirilmiş olup, VeriPazarı tarafından Türk AI ekosistemi için arşivlenmiştir.

🔗 Orijinal Kaynak: TURKCELL/Turkcell-LLM-7b-v1 🔗 Derleyen Platform: VeriPazarı

Turkcell LLM 7B v1

Bu model, Türkçe için geliştirilmiş ve genişletilmiş (extended) Mistral tabanlı bir Büyük Dil Modelidir (LLM). Toplamda 5 milyar token içeren temizlenmiş ham Türkçe veri seti üzerinde eğitilmiştir.

Eğitim sürecinde başlangıçta DORA yöntemi kullanılmıştır. Bunun ardından, modelin talimat (instruction) izleme yeteneğini artırmak için çeşitli açık kaynaklı ve Turkcell'in dahili (internal) kaynaklarından oluşturulan Türkçe talimat setleri kullanılarak LORA yöntemiyle ince ayar (fine-tuning) yapılmıştır.

Model Detayları

Temel (Base) Model: Mistral 7B tabanlı LLM
Tokenizer Genişletmesi: Türkçe için özel olarak genişletilmiştir.
Eğitim Veri Seti: 5 milyar token'lık temizlenmiş Türkçe ham veri ve özel Türkçe talimat (instruction) setleri.
Eğitim Yöntemi: Başlangıçta DORA ile, ardından LORA ile ince ayar (fine-tuning) yapılmıştır.

DORA Konfigürasyonu

lora_alpha: 128
lora_dropout: 0.05
r: 64
target_modules: "all-linear"

LORA Fine-Tuning Konfigürasyonu

lora_alpha: 128
lora_dropout: 0.05
r: 256
target_modules: "all-linear"

Kullanım Örnekleri

Modeli transformers kütüphanesi ile aşağıdaki gibi kullanabilirsiniz:

python

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # Modeli yükleyeceğiniz cihaz (GPU)

model = AutoModelForCausalLM.from_pretrained("TURKCELL/Turkcell-LLM-7b-v1")
tokenizer = AutoTokenizer.from_pretrained("TURKCELL/Turkcell-LLM-7b-v1")

messages = [
    {"role": "user", "content": "Türkiye'nin başkenti neresidir?"},
]

encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")
eos_token = tokenizer("<|im_end|>", add_special_tokens=False)["input_ids"][0]

model_inputs = encodeds.to(device)
model.to(device)

generated_ids = model.generate(
    model_inputs,
    max_new_tokens=1024,
    do_sample=True,
    eos_token_id=eos_token
)

decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

Bu dosya veripazari.com.tr topluluğu tarafından Hugging Face altyapısında barındırılmaktadır. Orijinal emeğe saygı kuralımız gereği lisans ve model isimleri korunmuştur.

Taklaxbr/Turkcell-LLM-7b-v1