Views
No views yet
1
2models:
3 - model: mistralai/Mistral-7B-Instruct-v0.2
4 # Базовая модель, не меняем
5 parameters:
6 density: 1.0
7 weight: 1.0
8 - model: WizardLM/WizardMath-7B-V1.1
9 # Эксперт подмешивается
10 parameters:
11 density: 0.5 # DARE: берем только 50% самых важных изменений
12 weight: 0.5 # Вес влияния
13merge_method: ties
14base_model: mistralai/Mistral-7B-Instruct-v0.2
15parameters:
16 normalize: true
17 int8_mask: true
18dtype: float16
19