Views
No views yet
1from transformers import AutoModelForCausalLM, AutoTokenizer
2
3model_name = "luanngo/Qwen3-4B-Vietnamese-Legal-Chat"
4
5model = AutoModelForCausalLM.from_pretrained(
6 model_name,
7 torch_dtype="auto",
8 device_map="auto"
9)
10tokenizer = AutoTokenizer.from_pretrained(model_name)
11
12question = "Ông A là người lao động tham gia bảo hiểm y tế bắt buộc theo quy định. Trong năm 2025, ông A bị ốm nặng và phải điều trị dài ngày. Ông A thắc mắc về mức hưởng bảo hiểm y tế và trách nhiệm chi trả chi phí khám chữa bệnh. Theo quy định hiện hành, hậu quả pháp lý nào sẽ xảy ra đối với ông A trong việc hưởng bảo hiểm y tế và chi trả chi phí khám chữa bệnh?"
13
14# Prompt for VLSP 2025 LegalSML Task 3 - Syllogism Questions
15base_prompt = f"""Bạn là một chuyên gia pháp lý. Hãy trả lời câu hỏi pháp luật dựa trên kiến thức chuyên môn của mình. Khi trả lời:
16 - Phân tích pháp lý một cách tự nhiên, như đang nhớ lại và vận dụng kiến thức chuyên môn.
17 - Sử dụng các cách diễn đạt như: "Theo quy định tại...", "Căn cứ vào...", "Trong trường hợp này...".
18 - Kết thúc bằng một kết luận rõ ràng, trực tiếp trả lời câu hỏi.
19Định dạng đầu ra:
20
21Phân tích pháp lý: [nội dung phân tích]
22Kết luận: [câu trả lời cụ thể]
23
24Câu hỏi: {question}"""
25
26messages = [{"role": "user", "content": base_prompt}]
27text = tokenizer.apply_chat_template(
28 messages,
29 tokenize=False,
30 add_generation_prompt=True,
31)
32model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
33
34# Generate response
35generated_ids = model.generate(**model_inputs, max_new_tokens=16384, eos_token_id=tokenizer.eos_token_id)
36output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()
37
38content = tokenizer.decode(output_ids, skip_special_tokens=True)
39
40# Extract final conclusion for VLSP 2025 Syllogism Questions Task
41if "Kết luận:" in content:
42 final_answer = content.split("Kết luận:")[1].strip()
43 print("Final answer:", final_answer)
44else:
45 print("Final answer:", content)1@misc{qwen3-vietnamese-legal-2025,
2 title={Qwen3-4B-Vietnamese-Legal-Chat},
3 author={Luan Ngo},
4 year={2025},
5 publisher={Hugging Face}
6}