Views
No views yet
1from transformers import AutoModelForCausalLM, AutoTokenizer
2
3model = AutoModelForCausalLM.from_pretrained("edith81/Qwen2.5-1.5B-Vietnamese-MCQ-AllSubjects-merged")
4tokenizer = AutoTokenizer.from_pretrained("edith81/Qwen2.5-1.5B-Vietnamese-MCQ-AllSubjects-merged")
5
6# Use the model
7messages = [
8 {"role": "system", "content": "Bạn là trợ lý trả lời trắc nghiệm.\n\nTrả lời ĐÚNG định dạng JSON:\n{\"answer\":\"A\"}\n\nTrong đó A/B/C/D là đáp án đúng.\nKHÔNG giải thích, KHÔNG suy luận, CHỈ trả lời JSON."},
9 {"role": "user", "content": "Your question here\nA. Option A\nB. Option B\nC. Option C\nD. Option D"}
10]
11
12inputs = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True)
13outputs = model.generate(inputs, max_new_tokens=64, temperature=0.1, do_sample=False)
14response = tokenizer.decode(outputs[0], skip_special_tokens=True)
15
16print(response) # {"answer":"A"}{"answer":"A"} (or B/C/D)edith81/Qwen2.5-1.5B-Vietnamese-MCQ-AllSubjects-merged