Views
No views yet
1# mergekit 설정 파일: Qwen/Qwen3-8B 와 Qwen/Qwen2.5-Omni-7B 를 DARE_TIES 방식으로 병합
2
3# 합칠 모델 목록
4models:
5 - model: Qwen/Qwen2-Audio-7B
6 parameters:
7 weight: 1.0
8 density: 1.0
9
10 - model: Qwen/Qwen2.5-Omni-3B
11 parameters:
12 weight: 1.0
13 density: 1.0
14
15merge_method: dare_ties
16base_model: Qwen/Qwen2.5-Omni-3B # 또는 Qwen/Qwen3-8B
17
18parameters:
19 density: 0.5 # 이 값을 조정하며 실험하세요 (예: 0.2, 0.7 등)
20 normalize: false
21 int8_mask: true
22
23dtype: bfloat16
24