This is a merge of pre-trained language models created using
mergekit.
This model was merged using the SLERP merge method.
1models:
2 - model: Joseph717171/Cerebrum-1.0-10.7B
3 - model: Sao10K/Fimbulvetr-11B-v2
4
5merge_method: slerp
6
7tokenizer_merge_method: slerp
8
9tokenizer_parameters:
10 t: 0.4 # Aumentato leggermente per bilanciare meglio Fimbulvetr
11
12base_model: Sao10K/Fimbulvetr-11B-v2
13dtype: bfloat16
14
15parameters:
16 t: [0, 0.3, 0.5, 0.7, 0.5, 0.3, 0] # Curva più graduale e bilanciata
17 temp: 1.3 # Slightly reduced per maggiore precisione
18
19density:
20 - threshold: 0.2
21 t: 0.8
22 - threshold: 0.6
23 t: 0.5
24 - threshold: 0.9
25 t: 0.3
26
27# Aggiunto un nuovo livello di densità per migliorare la transizione tra i modelli
28additional_density:
29 - threshold: 0.4
30 t: 0.6
31
