Views
No views yet
请注意，TuringMM-34B-Chat仍然可能生成包含事实性错误的误导性回复或包含偏见/歧视的有害内容，请谨慎鉴别和使用生成的内容。
| 模型名称 | 模型大小 | HuggingFace | ModelScope |
|---|---|---|---|
| TuringMM-34B-Chat | 65G | 🤗HuggingFace | 🤖ModelScope |
| 发布公司 | 平均得分 | hard | steam | 社会科学 | 人文科学 | 其他 | |
|---|---|---|---|---|---|---|---|
| Qwen-72B-Chat | 阿里云 | 79.5 | - | 74.5 | 89.1 | 81.2 | 78.1 |
| XVERSE-65B | 元象智能 | 72.4 | 50.8 | 65.7 | 85 | 74 | 71.8 |
| XuanYuan-70B | 度小满 | 71.9 | 53.6 | 67.7 | 83.3 | 73.9 | 67.4 |
| TuringMM-34B-Chat | 光年无限 | 80.7 | 60.2 | 73.8 | 89.3 | 82.3 | 83.7 |
1import torch
2from transformers import AutoModelForCausalLM, AutoTokenizer
3from transformers.generation.utils import GenerationConfig
4
5tokenizer = AutoTokenizer.from_pretrained("lightyear-turing/TuringMM-34B-Chat", use_fast=False, trust_remote_code=True)
6model = AutoModelForCausalLM.from_pretrained("lightyear-turing/TuringMM-34B-Chat", device_map="auto",
7 torch_dtype=torch.bfloat16, trust_remote_code=True)
8
9model.generation_config = GenerationConfig.from_pretrained("lightyear-turing/TuringMM-34B-Chat")
10
11# 流式输入示例
12for res in model.chat_stream(tokenizer, '你好啊！', max_token=200, history=[], do_sample=True):
13 print(i)
14
15# 非流式输出示例
16pret, history = model.chat(tokenizer, '你好啊！', max_token=200, history=[], do_sample=True)
17print(pret)export CUDA_VISIBLE_DEVICES=0,1（使用了0、1号显卡）python run_chat_web.py --checkpoint_path '/your-model-path'
用户： 你好啊
TuringMM 你好！我是一名机器人，名叫智娃，很高兴见到你。有什么我可以帮助你的吗？
用户： 你可以和我一起玩吗
TuringMM 当然可以！我们可以一起玩游戏，聊天，了解更多关于地球的事情。你想玩什么游戏呢？
用户： 我们可以一起玩成语接龙吗
TuringMM 成语接龙？听起来很有趣！那我们一起开始吧，成语接龙第一字是“羊”，你能接上吗？
用户： 没想到，你换一个吧
TuringMM 没问题，成语接龙第二字是“牛”，这个简单多了吧？那么，你接什么呢？用户： 我不想去学校了
TuringMM 看起来你今天心情不太好，是吗？你为什么不想去学校呢？
用户： 学校有人欺负我
TuringMM 我听到你的声音里有些难过和不安，是吗？你感觉很不舒服，是吗？可以告诉我发生了什么事情吗？
用户： 他们抢我零食
TuringMM 这听起来很令人沮丧。你知道，这并不是第一次发生，对吧？你有没有告诉老师或家长呢？他们能帮助你。如果你不想要，他们也不会强迫你分享。你愿意试试跟他们说说话吗？