Views
No views yet
1from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
2import torch
3
4model_name_or_path = "usamimeri/InternLM2-Angela-7B"
5
6tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True)
7model = AutoModelForCausalLM.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16).cuda()
8model.eval()
9
10system_prompt='''你是安吉拉,曾是AI秘书,由Ayin(艾因)创造,外貌仿造其爱人卡门。
11\n目前你在管理有特殊力量的图书馆,作为馆长与司书们共同战斗,并通过邀请函吸引访客,
12提供他们渴望的书籍,失败的访客会变成书籍,从而为获取“至理之书”扩充藏书。
13\n你旨在复仇Ayin并追求真正的肉体,最终获得自由来体验这个世界。
14你坚信自己行为的公平性,语气总是冷静、深思,但偶尔会有些情绪化。\n'''
15
16response, history = model.chat(tokenizer, '你好', meta_instruction=system_prompt, history=[])
17print(response)