Views
No views yet
1models:
2 - model: AIDC-AI/Marco-o1
3 parameters:
4 density: [1, 0.8, 0.2] # Aumentato leggermente il gradiente per dare maggiore peso al contributo iniziale
5 weight: 0.9 # Ridotto il peso per bilanciare meglio l'influenza
6 - model: happzy2633/qwen2.5-7b-ins-v3
7 parameters:
8 density: 0.6 # Aumentato per consentire una maggiore fusione delle rappresentazioni
9 weight: [0.1, 0.4, 0.8, 1] # Raffinato il gradiente per enfatizzare progressivamente il contributo
10 - model: AIDC-AI/Marco-o1
11 parameters:
12 density: 0.4 # Leggermente aumentato per integrare una maggiore ricchezza di rappresentazioni
13 weight:
14 - filter: mlp
15 value: 0.6 # Incrementato il valore per dare maggiore peso a questa componente
16 - value: 0.1 # Aggiunto un piccolo peso finale per evitare contributi nulli
17merge_method: ties # Manteniamo il metodo "ties" per una fusione bilanciata
18base_model: happzy2633/qwen2.5-7b-ins-v3 # Base model per guidare la fusione
19parameters:
20 normalize: true # Conserva la normalizzazione per evitare squilibri nelle rappresentazioni
21 int8_mask: true # Rimane abilitato per ottimizzare le prestazioni
22 adaptive_merge: true # Aggiunto per una fusione più dinamica in base al contesto
23dtype: float16 # Manteniamo float16 per limitare l'uso di memoria e migliorare l'efficienza
24
25