Views
No views yet
1# 确保所有模型均为 Qwen-7B 架构（基础版、Chat版、Cantonese版通常共享架构和词汇表）
2models:
3 - model: /root/autodl-tmp/model_base/Qwen-7B
4 parameters:
5 weight: 0.4
6 density: 0.6
7 - model: /root/autodl-tmp/model_two/Qwen-7B-Chat
8 parameters:
9 weight: 0.3
10 density: 0.5
11 - model: /root/autodl-tmp/model_one/Qwen-7B-Chat-Cantonese # 替换为Cantonese版本，需确保架构一致
12 parameters:
13 weight: 0.3
14 density: 0.4
15
16merge_method: ties
17base_model: /root/autodl-tmp/model_base/Qwen-7B # 基础模型作为合并基准
18parameters:
19 normalize: true # 建议保持，确保权重归一化
20 int8_mask: false # Qwen模型通常不需要int8掩码
21
22dtype: float16 # 节省显存，兼容大多数GPU
23chat_template: "chatml" # 匹配Qwen-7B-Chat的对话模板
24
25# 分词器配置：强制使用单一来源，避免词汇表合并
26tokenizer:
27 source: "/root/autodl-tmp/model_two/Qwen-7B-Chat" # 固定使用Chat版分词器（通常与Cantonese版兼容）
28 pad_to_multiple_of: null # 禁用词汇表补齐（Qwen分词器不支持动态扩展）
29 # 不设置任何tokens相关配置，彻底避免添加新token的操作