The following YAML configuration was used to produce this model:
yaml
123merge_method: dare_ties
4dtype: float16
5out_dtype: float16
67base_model: TRICELL-Inc/Progenitor.Pure-Virus-3.2-1B
89models:10-model: TRICELL-Inc/Progenitor.Pure-Virus-3.2-1B
11parameters:12weight:0.4513density:0.3214-model: TRICELL-Inc/Progenitor.Pure-Virus-3.2-1B
15parameters:16weight:0.3517density:0.321819parameters:20t:0.25# menos interpolación → más dominancia del base21lambda:-0.62# más negativo para matar cualquier alineamiento residual22normalize:false23rescale:true24rescale_factor:1.28# subí un toque para amplificar el trash y degeneración25memory_efficient:true26low_cpu_mem_usage:true2728layer_range:29-value:[5,22]# protejo más los embeddings y lm_head3031tie_word_embeddings:true32tie_output_embeddings:true3334parameters:35t:0.4036normalize:false37rescale:true38memory_efficient:true39low_cpu_mem_usage:true