Views
No views yet
vngrs-ai/Kumru-2B-Base modelinin iki aşamalı (DAPT + DPO) bir fine-tuning sürecinden geçirilmesiyle oluşturulmuş nihai modelidir. Model, Enerji Piyasası Düzenleme Kurumu (EPDK) mevzuatları konusunda uzmanlaşmış bir instruct modelidir.llama.cpp ve Ollama gibi platformlarda kullanılmak üzere ogulcanakca/Kumru-2B-EPDK-Instruct-GGUF reposunda GGUF formatında da mevcuttur.1!pip install -q \
2 "transformers" \
3 "peft" \
4 "accelerate" \
5 "bitsandbytes" \
6 "trl" \
7 "datasets"
8
9from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
10import torch
11
12model_name = "ogulcanakca/Kumru-2B-EPDK-Instruct"
13
14# 4-bit QLoRA ile yükleme
15bnb_config = BitsAndBytesConfig(
16 load_in_4bit=True,
17 bnb_4bit_quant_type="nf4",
18 bnb_4bit_compute_dtype=torch.float16 # T4 için
19)
20
21tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
22model = AutoModelForCausalLM.from_pretrained(
23 model_name,
24 quantization_config=bnb_config,
25 device_map="auto",
26 trust_remote_code=True
27)
28model.eval()
29
30prompt_soru = "2007 yılına ait Türkiye Ortalama Elektrik Toptan Satış Fiyatının (TORETOSAF) değeri nedir?"
31
32messages = [
33 {"role": "user", "content": prompt_soru}
34]
35
36input_text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
37inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
38
39inputs.pop("token_type_ids", None)
40
41with torch.no_grad():
42 outputs = model.generate(
43 **inputs,
44 max_new_tokens=150,
45 temperature=0.2,
46 do_sample=True,
47 pad_token_id=tokenizer.eos_token_id
48 )
49
50response_start_index = inputs.input_ids.shape[1]
51print(tokenizer.decode(outputs[0][response_start_index:], skip_special_tokens=True))1{
2 "prompt": "2007 yılına ait Türkiye Ortalama Elektrik Toptan Satış Fiyatının (TORETOSAF) değeri nedir?",
3 "Instruct Model": "TORETOSAF, 2013 yılı için, 12 aylık TÜFE ile TEFE arasındaki farktır. 2013 yılı için % 10,11’dir."
4}