Views
No views yet
unsloth/llama-3.2-3b-instruct-unsloth-bnb-4bitunsloth/llama-3.2-3b-instruct-unsloth-bnb-4bit1from transformers import AutoModelForCausalLM, AutoTokenizer
2from peft import PeftModel
3
4base_model = "unsloth/llama-3.2-3b-instruct-unsloth-bnb-4bit"
5adapter = "your-username/vietnamese-medical-chatbot"
6
7tokenizer = AutoTokenizer.from_pretrained(base_model)
8model = AutoModelForCausalLM.from_pretrained(base_model, device_map="auto")
9model = PeftModel.from_pretrained(model, adapter)
10
11prompt = "Tôi bị đau đầu kéo dài 3 ngày, không sốt — có nguy hiểm không?"
12inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
13outputs = model.generate(**inputs, max_new_tokens=300)
14print(tokenizer.decode(outputs[0], skip_special_tokens=True))