Views
No views yet
trl ร่วมกับ QLoRA บนฐาน Qwen/Qwen2.5-7B1from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
2import torch
3
4tokenizer = AutoTokenizer.from_pretrained("UpMath/Thai-HomeworkGen-4B-v2")
5model = AutoModelForCausalLM.from_pretrained("UpMath/Thai-HomeworkGen-4B-v2",device_map="auto")
6
7generator = pipeline(
8 "text-generation",
9 model=model,
10 tokenizer=tokenizer,
11 device_map="auto",
12 max_new_tokens=2048,
13 do_sample=True,
14 temperature=0.7,
15 pad_token_id=tokenizer.eos_token_id
16)
17
18prompt = """
19 โปรดสร้างโจทย์คณิตศาสตร์ใหม่ โดยมีรายละเอียดดังนี้:
20 ระดับ Bloom: ["วิเคราะห์"] # หรือ ["วิเคราะห์", "จดจำ", .....]
21 ระดับชั้น: มัธยมศึกษาปีที่ 4
22 รูปแบบ: ปรนัย # หรือ อัตนัย
23 โปรดสร้างโจทย์ พร้อมวิธีทำและคำตอบ:
24"""
25
26result = generator(prompt)[0]['generated_text']
27print(result)Qwen/Qwen2.5-7Btrl (SFTTrainer)peft)