Views
No views yet
pip install transformers peft torch1import torch
2from transformers import AutoModelForCausalLM, AutoTokenizer
3
4# 加载模型
5model_name = "your-huggingface-username/JianLai-Qwen0.5B" # 修改为实际名称
6model = AutoModelForCausalLM.from_pretrained(
7 model_name,
8 torch_dtype=torch.float16,
9 trust_remote_code=True,
10)
11tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
12
13# 提问
14question = "剑来的主人公是谁？"
15prompt = f"### 用户：{question}\n### 助手："
16
17inputs = tokenizer(prompt, return_tensors="pt")
18outputs = model.generate(
19 **inputs,
20 max_new_tokens=200,
21 do_sample=True,
22 temperature=0.7,
23 top_p=0.9
24)
25
26result = tokenizer.decode(outputs[0], skip_special_tokens=True)
27answer = result.split("### 助手：")[-1].strip()
28print(f"回答: {answer}")1from transformers import pipeline
2
3gen = pipeline("text-generation", model="your-huggingface-username/JianLai-Qwen0.5B")
4result = gen("### 用户：陈平安来自哪里？\n### 助手：")问: 剑来的主人公是谁？答: 剑来小说的主人公是陈平安，来自骊珠洞天的一个小镇，是故事的核心人物...
问: 剑气长城是什么地方？答: 剑气长城是剑来世界中的超级宗派之一，是人族抵御妖族的重要防线...