This is a merge of pre-trained language models created using
mergekit.
This model was merged using the SLERP merge method.
1models:
2 - model: lemon07r/Gemma-2-Ataraxy-9B
3 - model: ifable/gemma-2-Ifable-9B
4merge_method: slerp
5tokenizer_merge_method: slerp
6tokenizer_parameters:
7 t: 0.3 # Dà più peso al tokenizer di Gemma-2-Ataraxy-9B
8base_model: lemon07r/Gemma-2-Ataraxy-9B
9dtype: bfloat16
10parameters:
11 t: [0, 0.3, 0.6, 0.8, 0.6, 0.3, 0] # Curva che favorisce leggermente il centro del merge
12 temp: 2.0 # Temperatura aumentata per un merge più audace
13density:
14 - threshold: 0.05
15 t: 0.8
16 - threshold: 0.3
17 t: 0.6
18 - threshold: 0.7
19 t: 0.4
20 - threshold: 0.95
21 t: 0.2
22noise: 0.1 # Aggiunto rumore per ulteriore variabilità
