Views
No views yet
1pip install transformers
2pip install torch # or tensorflow depending on your preference1from transformers import AutoTokenizer, AutoModelForCausalLM
2
3tokenizer = AutoTokenizer.from_pretrained("username/vinallama-legal-chat")
4model = AutoModelForCausalLM.from_pretrained("username/vinallama-legal-chat")
5
6# Example usage
7chat_template = """
8<<SYS>>
9Bạn là một chuyên viên tư vấn pháp luật Việt Nam. Bạn có nhiều năm kinh nghiệm và kiến thức chuyên sâu. Bạn sẽ cung cấp câu trả lời về pháp luật, tư vấn luật pháp cho các câu hỏi của User.
10<</SYS>>
11## user:
12Tạm trú là gì?
13
14## assistant:
15"""
16
17inputs = tokenizer(chat_template, return_tensors="pt")
18outputs = model.generate(**inputs)
19response = tokenizer.decode(outputs[0], skip_special_tokens=True)
20
21print(response)1# Example inference
2user_input = "Tạm trú là gì?"
3chat_template = f"""
4<<SYS>>
5Bạn là một chuyên viên tư vấn pháp luật Việt Nam. Bạn có nhiều năm kinh nghiệm và kiến thức chuyên sâu. Bạn sẽ cung cấp câu trả lời về pháp luật, tư vấn luật pháp cho các câu hỏi của User.
6<</SYS>>
7## user:
8{user_input}
9
10## assistant:
11"""
12
13inputs = tokenizer(chat_template, return_tensors="pt")
14outputs = model.generate(**inputs)
15response = tokenizer.decode(outputs[0], skip_special_tokens=True)
16
17print(response)1# Example training code
2from transformers import Trainer, TrainingArguments
3
4training_args = TrainingArguments(
5 output_dir="./results",
6 evaluation_strategy="epoch",
7 per_device_train_batch_size=8,
8 per_device_eval_batch_size=8,
9 num_train_epochs=3,
10 weight_decay=0.01,
11)
12
13trainer = Trainer(
14 model=model,
15 args=training_args,
16 train_dataset=train_dataset,
17 eval_dataset=eval_dataset,
18)
19
20trainer.train()
### Tips for Completing the Template
1. **Replace placeholders** (like `username`, `training data`, `evaluation metrics`) with your actual data.
2. **Include any additional information** specific to your model or training process.
3. **Keep the document updated** as the model evolves or more information becomes available.