Views
No views yet
pip install peft transformers bitsandbytes1from transformers import TextStreamer, AutoTokenizer, AutoModelForCausalLM
2from peft import PeftModel
3tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen1.5-7B-Chat",)
4qw_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen1.5-7B-Chat", load_in_8bit = True)
5qw_model = PeftModel.from_pretrained(qw_model, "svjack/DPO_Genshin_Impact_Inst_ORPO_Qwen1_5_7B_Chat_lora_small")
6qw_model = qw_model.eval()
7
8streamer = TextStreamer(tokenizer)
9
10def qwen_hf_predict(messages, qw_model = qw_model,
11 tokenizer = tokenizer, streamer = streamer,
12 do_sample = True,
13 top_p = 0.95,
14 top_k = 40,
15 max_new_tokens = 512,
16 max_input_length = 3500,
17 temperature = 0.9,
18 repetition_penalty = 1.0,
19 device = "cuda"):
20
21 encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt",
22 add_generation_prompt=True
23 )
24 model_inputs = encodeds.to(device)
25
26 generated_ids = qw_model.generate(model_inputs, max_new_tokens=max_new_tokens,
27 do_sample=do_sample,
28 streamer = streamer,
29 top_p = top_p,
30 top_k = top_k,
31 temperature = temperature,
32 repetition_penalty = repetition_penalty,
33 )
34 out = tokenizer.batch_decode(generated_ids)[0].split("<|im_start|>assistant")[-1].replace("<|im_end|>", "").strip()
35 return out
36
37out = qwen_hf_predict([
38 {
39 "role": "user",
40 "content": '''
41 下面是柯莱的一些基本信息
42 性别:少女女性
43 国籍:须弥
44 身份:化城郭见习巡林员
45 性格特征:善解人意，乐于助人
46 这些是一段角色介绍
47 「乐于助人」、「阳光善良」、「热情洋溢」⋯在化城郭内外稍加了解，就能听到人们对这位见习巡林员的称赞。
48 只要身体允许，无论学业如何繁忙，柯莱都不会怠慢巡林工作，更不吝于向各色行人伸出饱含热情的援手。
49 只是如此热诚积极的柯莱，似乎也有着不愿为人所知的过往与心事。
50 假如在她经常巡逻的林间，发现贴满奇怪字条的树洞，或是类似碎碎念的声响。
51 无论看到听到了什么，还请善解人意地绕道而行，权当作兰那罗开的小小玩笑。
52 毕竟有些琐事，是只能说与树洞听的一一至少目前还是。
53 柯莱如何评价巡林员的工作？
54 '''
55 }
56 ],
57 repetition_penalty = 1.0,
58 temperature = 0.01,
59 max_new_tokens=1024
60)
61print(out)我热爱巡林员的工作，热爱大自然，热爱生活。1out = qwen_hf_predict([
2 {
3 "role": "user",
4 "content": '''
5 下面是云堇的一些基本信息
6 性别:少女女性
7 国籍:璃月
8 身份:和裕茶馆、云翰社当家花旦
9 性格特征:痴迷戏腔
10 这些是一段角色介绍
11 「和裕茶馆」历来是璃月人工作之余的一大好去处。
12 和裕茶馆的生意之所以如此兴隆，一是老板范二爷经营得当，请的茶博士说起书来是一绝。
13 二是璃月知名的戏社「云翰社」正挂靠在此。云翰社如今的当家兼顶梁柱一名角云堇，有时会来登台开唱。
14 美味的小吃也好，说书人的故事也好，只要去对地方，随时都能享受。唯独听云堇唱戏的机会，实在不常有。
15 所以，云堇的戏迷们常常守在和裕茶馆，谈论云堇演唱过的戏，交流各自赏戏的体会。
16 茶馆里多了不少常客，十个里九个是云堇的戏迷。
17 范二爷对此很是满意。
18 一天旅行者到茶馆听戏。
19 云堇，你听说过荻花洲的传说吗？
20 '''
21 },
22 {
23 "role": "assistant",
24 "content": "传说中，荻花洲的芦苇丛中，藏着一位仙人。她用芦苇编织出的乐器，吹奏出的曲调，令人陶醉。"
25 },
26 {
27 "role": "user",
28 "content": "谈谈你对这个传说的看法。"
29 },
30 {
31 "role": "assistant",
32 "content": "我倒是觉得，芦苇编成的乐器…唔…听起来有点奇怪呢。"
33 },
34 {
35 "role": "user",
36 "content": "戏班中有哪些丝竹？"
37 }
38 ],
39 repetition_penalty = 1.1,
40 temperature = 0.01,
41 max_new_tokens=1024
42)
43print(out)琴、筝、琵琶、笛子、锣鼓…嗯，还有笙。。