Views
No views yet
pip install transformers peft torch unsloth1from unsloth import FastLanguageModel
2from peft import PeftModel
3
4# 1. 載入基礎模型
5base_model, tokenizer = FastLanguageModel.from_pretrained(
6 model_name="yentinglin/Taiwan-LLM-7B-v2.1-chat",
7 max_seq_length=2048,
8 dtype=None,
9 load_in_4bit=True,
10)
11
12# 2. 載入 LoRA adapter
13model = PeftModel.from_pretrained(
14 base_model,
15 "YOUR_USERNAME/taiwan-llm-taigi-lora" # 記得改成你的用戶名
16)
17
18# 3. 切換到推論模式
19FastLanguageModel.for_inference(model)1# 準備 prompt
2prompt = """USER: 請仔細閱讀以下台文文章，並回答問題。
3
4文章：
5明年元旦起，交通部新規定，汽車輪胎胎紋深度將納入定期檢驗項之一，一旦深度未達一.六公厘，佮一個月內無換胎，將會去予吊銷牌仔照。
6
7問題：汽車胎紋未到達多毫米將會予人吊銷牌?
8
9選項：
101. 一.五公厘
112. 一.四厘
123. 一.三公厘
134. 一.六公厘
14
15請回答： ASSISTANT:"""
16
17# 生成答案
18inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
19outputs = model.generate(
20 **inputs,
21 max_new_tokens=10,
22 temperature=0.1,
23 do_sample=False,
24)
25
26answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
27print(answer) # 輸出: 41{
2 "r": 32,
3 "lora_alpha": 32,
4 "lora_dropout": 0.05,
5 "bias": "none",
6 "target_modules": [
7 "q_proj", "k_proj", "v_proj", "o_proj",
8 "gate_proj", "up_proj", "down_proj"
9 ]
10}