Views
No views yet
1from unsloth import FastLanguageModel
2
3# Load model
4model, tokenizer = FastLanguageModel.from_pretrained(
5 "phamff/llama3-8b-vietnamese-law-6k",
6 max_seq_length=1024,
7 dtype=None,
8 load_in_4bit=True,
9)
10
11# Example usage
12prompt = "Câu hỏi: Quy định về thời hiệu khởi kiện trong luật dân sự là gì?\nTrả lời:"
13inputs = tokenizer(prompt, return_tensors="pt")
14outputs = model.generate(**inputs, max_new_tokens=256)
15response = tokenizer.decode(outputs[0], skip_special_tokens=True)
16print(response)