LLM_MERGE_CC2 est une fusion des modèles suivants créée par ManoloPueblo utilisant
mergekit:
1merge_method: ties
2base_model: mistralai/Mistral-7B-v0.1
3models:
4 - model: mistralai/Mistral-7B-v0.1
5 # no parameters necessary for base model
6 - model: OpenPipe/mistral-ft-optimized-1218
7 parameters:
8 density: 0.5
9 weight: 0.5
10 - model: mlabonne/NeuralHermes-2.5-Mistral-7B
11 parameters:
12 density: 0.5
13 weight: 0.3
14parameters:
15 normalize: true
16 dtype: float16
LLM_MERGE_CC2 est un modèle de langage créé par la fusion de trois variantes Mistral :
Cette fusion utilise la méthode "ties" avec normalisation et une précision float16 pour combiner les forces des trois modèles.
Le modèle conserve l'architecture de base de Mistral-7B tout en incorporant les améliorations des trois versions à travers une fusion pondérée. La méthode "ties" permet une fusion plus sophistiquée des poids des modèles.
1from transformers import AutoModelForCausalLM, AutoTokenizer
2
3tokenizer = AutoTokenizer.from_pretrained("ManoloPueblo/LLM_MERGE_CC2")
4model = AutoModelForCausalLM.from_pretrained("ManoloPueblo/LLM_MERGE_CC2")
Comme pour tout modèle de langage, les utilisateurs doivent être conscients des biais potentiels et des limitations inhérentes aux modèles sources. Les performances peuvent varier selon les cas d'utilisation.
