This is a sentence-transformers model finetuned from dangvantuan/sentence-camembert-large on the legi-french-rag-pairs-e5-split2 dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: dangvantuan/sentence-camembert-large
Maximum Sequence Length: 512 tokens
Output Dimensionality: 1024 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- legi-french-rag-pairs-e5-split2

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'CamembertModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("IvanDVonga/french-bge-m3-finetuned-legi-rag")
# Run inference
sentences = [
    "Dans le cadre de ses compétences en matière de direction de l'UMPV, suppose-t-on que le président prenne une décision controversée lors du conseil des établissements-composantes. Comment ce decision peut-elle être contestée par les membres des établissements-composantes et quelles sont les limitations de cette opposition?",
    "Le président assure la direction de l'UMPV. A ce titre, il exerce les compétences prévues par l'article L. 712-2 du code de l'éducation. En outre, il :1° Préside le conseil d'administration, le conseil académique, le conseil scientifique et le conseil des études et de la vie universitaire, y compris leur formation restreinte aux enseignants-chercheurs dans le respect des principes rappelés au deuxième alinéa de l'article L. 952-6 du code de l'éducation ;2° Préside le comité d'orientation stratégique international ;3° Préside le conseil des directeurs de composantes internes d'enseignement et des établissements-composantes ;4° Coordonne le dialogue de l'UMPV et de ses établissements-composantes avec les partenaires institutionnels de l'UMPV et participe au dialogue entre les établissements-composantes et leurs autorités de tutelle ;5° Signe les diplômes délivrés par l'UMPV et co-signe les diplômes des établissements-composantes ;6° Propose à la nomination du conseil académique en formation restreinte, les enseignants-chercheurs et assimilés membres des comités de sélection ;7° Présente chaque année au conseil d'administration un rapport sur l'évolution de la situation professionnelle des personnes auxquelles l'UMPV a délivré le diplôme national de doctorat dans les cinq années précédentes. Ce rapport est transmis, après approbation par le conseil d'administration, au ministre chargé de l'enseignement supérieur et de la recherche, au Haut Conseil de l'évaluation de la recherche\n\nDans les conditions prévues à l'article D. 719-3 du code de l'éducation, le président de l'UMPV est assisté d'un comité électoral consultatif pour l'organisation des élections dans les conseils centraux et les conseils des UFR, écoles ou instituts internes de l'UMPV.Sa composition et ses modalités de fonctionnement sont précisées par le règlement intérieur de l'UMPV. Article 38Comité d'orientation stratégique international Ses membres sont :1° Le président de l'UMPV ;2° Les vice-présidents du conseil d'administration, du conseil scientifique et du conseil des études et de la vie universitaire, ainsi que le vice-président délégué aux relations internationales ;3° Les présidents ou directeurs des établissements-composantes ;4° Les présidents ou directeurs des établissements associés ;5° Les directeurs du Centre de coopération internationale en recherche agronomique pour le développement (CIRAD), du Centre national de la recherche scientifique (CNRS), de l'Institut national de recherche pour l'agriculture, l'alimentation et l'environnement (INRAE), de l'Institut national de recherches archéologiques préventives (INRAP) et de l'Institut de recherche pour le développement (IRD), ou leurs représentants ;6° Quatre personnalités scientifiques internationales dans les domaines de spécialités de l'UMPV ;7° Les présidents de la Région Occitanie, de la Métropole de Montpellier et de l'Agglomération de Béziers, ou leurs représentants ;8° Trois personnalités issues du monde\n\nOutre le président de l'UMPV qui le préside, le conseil d'administration comprend les membres suivants, ainsi répartis :1° Huit représentants des professeurs et personnels assimilés au sens du I de l'article D. 719-4 du code de l'éducation, en exercice dans l'UMPV ;2° Huit représentants des autres enseignants-chercheurs, enseignants et chercheurs, et personnels assimilés au sens du I de l'article D. 719-4 précité, en exercice dans l'UMPV ;3° Quatre représentants des personnels des bibliothèques, ingénieurs, administratifs, techniques, sociaux et de santé au sens du III de l'article D. 719-4 précité, en exercice l'UMPV ;4° Quatre représentants des usagers au sens du II de l'article D. 719-4 précité, inscrits à l'UMPV ou dans un de ses établissements-composantes ;5° Un représentant de chaque établissement-composante, et son suppléant, désignés dans les conditions fixées par chaque établissement-composante ;6° Neuf personnalités extérieures à l'UMPV dont :a) Un représentant de la région Occitanie ;b) Un représentant de la Métropole de Montpellier ;c) Un représentant du Centre national de la recherche scientifique (CNRS) ;d) Un représentant de la direction régionale des affaires culturelles (DRAC) Occitanie ;e) Cinq personnalités désignées dans l'ordre suivant et dans les conditions prévues à l'article 29 des présents statuts : - deux représentants des organisations représentatives des salariés ;- un représentant d'une entreprise employant moins de cinq cents salariés ;- un",
    "Le directeur général des services convoque l'ensemble des membres élus et désignés au titre des personnalités extérieures du conseil d'administration. Cette convocation doit être adressée dix jours au moins avant le jour de la réunion portant élection du président de l'établissement. Les candidats disposent de la possibilité d'utiliser les moyens d'information de l'établissement pour faire connaître leur intention et leur profession de foi.Le président est élu, pour un mandat de 4 ans, dans les conditions fixées à l'article L. 712-2 du code de l'éducation. En cas de résultat infructueux après trois tours de scrutin, la séance est levée et le conseil d'administration est convoqué à nouveau dans un délai de dix jours pour un nouveau scrutin organisé dans les mêmes conditions. Article 19Régime d'incompatibilité Les fonctions de président sont incompatibles avec celles de membre élu du conseil académique, de président ou directeur d'établissement-composante ou de toute structure interne de l'UMPV et avec celles de dirigeant exécutif de tout établissement public à caractère scientifique, culturel et professionnel ou de l'une de ses composantes ou structures internes. Article 20Vacance de la présidence En cas d'empêchement temporaire, le président est suppléé, dans l'ordre, par le vice-président du conseil d'administration, le vice-président du conseil scientifique ou le vice-président du conseil des études et de la vie universitaire.Dans le cas où le président cesse ses fonctions,\n\nArticle 12Organisation L'UMPV comprend :1° Des établissements-composantes ;2° Des composantes internes ;3° Des services universitaires dont des services communs et généraux.\n\nConformément à leurs statuts, les établissements-composantes exercent pleinement leurs prérogatives et développent une stratégie propre en cohérence avec la stratégie de l'UMPV, qu'ils participent à définir et qu'ils contribuent à mettre en œuvre.Les établissements-composantes : - conservent leur personnalité morale, leurs compétences et leurs prérogatives telles que définies par leurs actes constitutifs et conformément aux textes réglementaires qui les régissent ;- conservent leurs autorités de tutelle ;- contribuent à l'élaboration de la stratégie de l'UMPV dans toutes ses dimensions ;- mettent en œuvre, conformément à leurs compétences, la stratégie, les orientations et les délibérations de l'UMPV ;- mettent en œuvre la signature commune des publications scientifiques ;- participent à l'élaboration du contrat pluriannuel de l'UMPV et élaborent leur volet spécifique ;- peuvent se voir déléguer par l'UMPV l'exercice d'une ou plusieurs de ses compétences et peuvent déléguer ou transférer à l'UMPV l'exercice d'une ou plusieurs de leurs compétences dans les conditions prévues aux articles 8 et 9 des présents statuts ;- reçoivent directement leur plafond d'emploi et leurs dotations ou subventions pour charge de service public et disposent de leurs ressources propres. Leurs crédits et emplois sont affectés par les autorités de tutelle compétentes et sont négociés directement avec elles ;- adoptent leurs budgets dans le respect des orientations stratégiques de l'UMPV ;- conservent",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.5011, 0.5883],
#         [0.5011, 1.0000, 0.6996],
#         [0.5883, 0.6996, 1.0000]])

Evaluation

Metrics

Triplet

Datasets: legi-rag-validation and legi-rag-test
Evaluated with TripletEvaluator

Metric	legi-rag-validation	legi-rag-test
cosine_accuracy	0.86	0.93

Training Details

Training Dataset

legi-french-rag-pairs-e5-split2

Dataset: legi-french-rag-pairs-e5-split2 at be37641
Size: 797 training samples
Columns: anchor, positive, negative, and metadata

Approximate statistics based on the first 797 samples:

	anchor	positive	negative	metadata
type	string	string	string	list
details	min: 37 tokens mean: 110.46 tokens max: 201 tokens	min: 41 tokens mean: 332.23 tokens max: 512 tokens	min: 76 tokens mean: 307.24 tokens max: 512 tokens	size: 3 elements

Samples:

anchor	positive	negative	metadata
`Dans le cadre d'un consistoire, si un pasteur est empêché de siéger lors d'une élection de délégués titulaires et suppléants au Synode, quel est le statut juridique de la personne qui remplacerait ce pasteur pour siéger au Synode?`	La loi d'Empire du 21 juin 1905 susvisée est modifiée conformément aux articles 2 à 5 du présent décret.[object Object][object Object]L'article 3 est remplacé par les dispositions suivantes : « Art. 3. - Sont membres du Synode : «- le président du Conseil synodal, élu dans les conditions prévues à l'article 5 ; «- le président et le secrétaire de chaque consistoire ; «- huit délégués titulaires élus par chaque consistoire, dont au plus quatre pasteurs. Pour chaque délégué titulaire est élu un délégué suppléant appelé à siéger au Synode en cas d'absence ou d'empêchement du délégué titulaire. « Participent en outre aux sessions du Synode avec voix consultative les personnalités nommées par le Synode pour visiter les paroisses. Les missions de ces visiteurs synodaux sont précisées par un règlement pris par le Synode dans les conditions prévues à l'article 7. »[object Object][object Object]L'article 1er est remplacé par les dispositions suivantes : « Art. 1. - Le Synode est placé à la tête de l'Eglise protestante réformée d'Alsace et de Lorrain...	Le premier alinéa de l'article 5 est remplacé par deux alinéas ainsi rédigés :« A la première session qui suit les élections générales des délégués, le Synode, dont demeure membre pour cette seule session le président sortant du Conseil synodal, élit en son sein un Conseil synodal composé d'un président, d'un vice-président, d'un secrétaire et de deux assesseurs. Lorsqu'un membre du Synode autre que le président sortant est élu président du Conseil synodal, il est procédé à son remplacement.« Les visiteurs synodaux sont nommés par le Synode lors de la même session. Leur nombre et les conditions de leur nomination sont précisés par un règlement pris par le Synode dans les conditions prévues à l'article 7. »[object Object][object Object]L'article 7 est remplacé par les dispositions suivantes : « Art. 7. - Les modalités d'application des dispositions de la présente loi, relatives notamment à l'élection des délégués, à la convocation et aux délibérations du Synode ainsi qu'à l'élection du Conseil synodal, sont précis...	`[{'source': 'DECRET 1'}, {'source': 'DECRET 3'}, {'source': 'DECRET 2'}]`
Dans l'hypothèse d'un responsable légal d'un jeune apprentice, qui n'est plus un mineur et a quitté son emploi, mais qui n'a pas encore atteint l'âge de dix-huit ans à la date du traitement de ses données personnelles, Comment cette situation affecte-t-elle l'opposabilité des droits d'accès, de rectification et de limitation envers la direction de l'évaluation, de la prospective et de la performance du ministère chargé de l'éducation nationale conformément aux articles 15, 16 et 18 du règlement (UE) 2016/679?	Les catégories de données à caractère personnel faisant l'objet du traitement sont les suivantes :1° Données relatives aux apprentis : a) Données relatives à l'identification : identifiant national (INE) ;b) Données d'identité : nom, prénom, sexe, date et lieu de naissance, nationalité (France, Union européenne, hors Union européenne) ;c) Coordonnées : adresse postale, téléphone, adresse électronique ;d) Données relatives à la formation préparée : statut du jeune, régime scolaire, diplôme ou titre préparé, durée théorique de la formation, durée de la formation en apprentissage, année de formation ;e) Données relatives à l'apprentissage : données relatives au CFA de l'apprenti (signataire de contrat et lieu de formation), date d'entrée dans ce CFA, date de début du contrat d'apprentissage, date de rupture du contrat, données relatives à l'établissement employeur ;f) Données relatives à la scolarité ou l'apprentissage de l'année précédente : situation avant de commencer une formation en ...	Les droits d'accès et de rectification prévus aux articles 39 et 40 ‎de la loi du 6 janvier 1978 susvisée s'exercent directement auprès du responsable de l'unité départementale de la direction régionale des entreprises, de la concurrence, de la consommation, du travail et de l'emploi dans le ressort de laquelle la prestation a lieu. L'employeur ou le cas échéant, le maître d'ouvrage ou le donneur d'ordre, informe les personnes autres que le déclarant du fait que leurs données personnelles feront l'objet d'un traitement ainsi que de leurs droits d'accès et de rectification prévus à l'alinéa précédent. Le droit d'opposition prévu à l'article 38 de la même ‎loi ne s'applique pas au présent traitement.[object Object][object Object]Des mesures de protection physique et logique sont prises par le responsable du traitement pour assurer la sécurité du traitement des données et leur transmission à l'union des caisses mentionnée à l'article R. 8291-2 du code du travail, empêcher toute utilisation détournée ou frauduleuse, ...	`[{'source': 'DECRET 3'}, {'source': 'DECRET 1'}, {'source': 'DECRET 6'}]`
Dans le cadre de l'exercice de ses attributions en matière d'innovation et de recherche, suppose-t-on qu'un ministre extérieur au ministère de l'enseignement supérieur et de la recherche souhaiterait exercer une certaine influence sur la Direction générale de la recherche et de l'innovation. Bien qu'il n'ait pas de juridique compétence dans ce domaine, peut-on avancer qu'il pourrait bénéficier d'une influence informelle, et que le texte ne prévoit pas explicitement une interdiction de telles influences? Ou bien, pourrait-on dire que l'autorité du ministre de l'enseignement supérieur et de la recherche sur la Direction générale de la recherche et de l'innovation est absolute et ne peut être inféodée à aucune autre personne ou entité, même si ce n'est pas explicitement écrit dans le texte?	I. - Pour l'exercice de ses attributions, le ministre de l'enseignement supérieur et de la recherche a autorité sur la direction générale de la recherche et de l'innovation et sur la direction générale de l'enseignement supérieur et de l'insertion professionnelle.II. - Il a autorité, conjointement avec le ministre de l'éducation nationale et le ministre des sports, de la jeunesse et de la vie associative, sur le secrétariat général, sur le haut fonctionnaire de défense et de sécurité et sur le bureau des cabinets mentionnés à l'article 1er du décret du 17 février 2014 susvisé.III. - Il dispose de la direction générale de l'enseignement scolaire et de la direction générale des entreprises.IV. - Pour l'exercice de ses attributions en matière d'innovation et de recherche, il dispose du secrétariat général pour l'investissement.V. - Pour l'exercice de ses attributions en matière de numérique, il dispose de la direction interministérielle du numérique et de la direction générale des médias ...	Pour l'exercice de ses attributions, le ministre auprès de la ministre d'État, ministre de l'éducation nationale, de l'enseignement supérieur et de la recherche, chargé de l'enseignement supérieur et de la recherche, dispose des services placés sous l'autorité de la ministre de l'éducation nationale, de l'enseignement supérieur et de la recherche ou dont elle dispose.[object Object][object Object]Le Premier ministre, la ministre d'État, ministre de l'éducation nationale, de l'enseignement supérieur et de la recherche, et le ministre auprès de la ministre d'État, ministre de l'éducation nationale, de l'enseignement supérieur et de la recherche, chargé de l'enseignement supérieur et de la recherche, sont responsables, chacun en ce qui le concerne, de l'application du présent décret, qui sera publié au Journal officiel de la République française.[object Object][object Object]Dans la limite des attributions qui lui sont déléguées, le ministre auprès de la ministre d'État, ministre de l'éducation nationale, de l'enseignement supérieur et de la r...	`[{'source': 'DECRET 2'}, {'source': 'DECRET 3'}, {'source': 'DECRET 3'}]`

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false 5}

Evaluation Dataset

legi-french-rag-pairs-e5-split2

Dataset: legi-french-rag-pairs-e5-split2 at be37641
Size: 100 evaluation samples
Columns: anchor, positive, negative, and metadata

Approximate statistics based on the first 100 samples:

	anchor	positive	negative	metadata
type	string	string	string	list
details	min: 48 tokens mean: 108.13 tokens max: 186 tokens	min: 60 tokens mean: 344.45 tokens max: 512 tokens	min: 76 tokens mean: 307.82 tokens max: 512 tokens	size: 3 elements

Samples:

anchor	positive	negative	metadata
`Dans le cadre du décret en question, suppose-t-on qu'un ministre différent du ministre des sports, de la jeunesse et de la vie associative exerce des compétences similaires. Est-il admis que ce ministre peut exécuter le décret, malgré la clause qui délégue cette tâche expressément au ministre des sports, de la jeunesse et de la vie associative? (Nonobstant la clause de délégation, est-ce que le décret peut être exécuté par un autre ministre?)`	`Le ministre des sports, de la jeunesse et de la vie associative est chargé de l'exécution du présent décret, qui sera publié au Journal officiel de la République française.[object Object][object Object]Le présent décret entre en vigueur le 5 décembre 2024.[object Object][object Object]Le présent décret sera publié au Journal officiel de la République française.`	La ministre de la culture ne connaît pas des actes de toute nature relatifs spécifiquement aux personnes, physiques ou morales, qu'elle a eues pour clientes dans le cadre de son activité d'avocate.Conformément à l'article 2-1 du décret du 22 janvier 1959 susvisé, les attributions correspondantes sont exercées par le Premier ministre.[object Object][object Object]Le garde des sceaux, ministre de la justice, est chargé de l'exécution du présent décret, qui sera publié au Journal officiel de la République française.[object Object][object Object]Le garde des sceaux, ministre de la justice, et le ministre de l'économie, des finances et de l'industrie sont chargés, chacun en ce qui le concerne, de l'exécution du présent décret, qui sera publié au Journal officiel de la République française.	`[{'source': 'DECRET 3'}, {'source': 'DECRET 2'}, {'source': 'DECRET 2'}]`
Dans le cas d'une décision incontestée devant la Cour nationale de tarification sanitaire et sociale avant le 1er janvier 2025, qui dispose-t-on de la possibilité de contester cette décision devant la cour administrative d'appel de Paris après cette date, sous réserve de quelles conditions et en quelle mesure cette possibilité est-elle opposable aux parties s'il existe des actes de procédure régulièrement accomplis devant les tribunaux interrégionaux de la tarification sanitaire et sociale avant cette date?	Les recours contre les jugements des tribunaux interrégionaux de la tarification sanitaire et sociale n'ayant pas fait l'objet d'un recours devant la Cour nationale de tarification sanitaire et sociale au 1er janvier 2025 et non encore devenus définitifs à cette date sont formés devant la cour administrative d'appel de Paris.[object Object][object Object]Le présent décret entre en vigueur le 1er janvier 2025, sous réserve des dispositions du premier alinéa de l'article 10 qui entrent en vigueur au lendemain de sa publication au Journal officiel de la République française.[object Object][object Object]Les tribunaux interrégionaux de la tarification sanitaire et sociale et la Cour nationale de la tarification sanitaire et sociale informent les parties, avant le 1er janvier 2025, de la transmission des requêtes mentionnées respectivement aux articles 8 et 9.Les actes de procédure régulièrement accomplis devant les tribunaux interrégionaux de la tarification sanitaire et sociale et la Cour nationale de la tarification sanitaire et sociale avant...	Les requêtes enregistrées par la Cour nationale de la tarification sanitaire et sociale dont le jugement n'a pas été prononcé au 31 décembre 2024 sont transmises en l'état le 1er janvier 2025 à la cour administrative d'appel de Paris.[object Object][object Object]Le garde des sceaux, ministre de la justice, la ministre de la santé et de l'accès aux soins et le ministre des solidarités, de l'autonomie et de l'égalité entre les femmes et les hommes sont chargés, chacun en ce qui le concerne, de l'exécution du présent décret, qui sera publié au Journal officiel de la République française.[object Object][object Object]Les archives et les minutes des greffes des tribunaux interrégionaux de la tarification sanitaire et sociale de Bordeaux, Lyon, Nancy et Nantes sont conservées respectivement par les greffes des cours administratives d'appel de Bordeaux, Lyon, Nancy et Nantes. Les archives et les minutes du greffe du tribunal interrégional de la tarification sanitaire et sociale de Paris et du greffe de la Cour nationale de la tarification sanitai...	`[{'source': 'DECRET 13'}, {'source': 'DECRET 15'}, {'source': 'DECRET 10'}]`
Dans le cadre de l'article 24 de la loi n° 2023-1059, une personne morale privée souhaitant mener des travaux d'intérêt général dans le cadre de l'expérimentation mentionnée à ce titre, doit être une société remplissant les conditions prévues à l'article L. 210-10 du code de commerce. Supposons-le, quel est le délai dans lequel la demande d'habilitation à ce titre doit être présentée au directeur du service pénitentiaire d'insertion et de probation, et est-il Caduc si ce délai n'est pas respecté?	Le ministre d'État, ministre de l'intérieur, est chargé de l'exécution du présent décret, qui sera publié au Journal officiel de la République française.[object Object][object Object]Le ministre d'État, ministre des outre-mer, et le ministre d'État, garde des sceaux, ministre de la justice, sont chargés, chacun en ce qui le concerne, de l'exécution du présent décret, qui sera publié au Journal officiel de la République française.[object Object][object Object]I. ‒ Les personnes morales de droit privé au profit desquelles peut être effectué un travail d'intérêt général au titre de l'expérimentation mentionnée au IV de l'article 24 de la loi n° 2023-1059 du 20 novembre 2023 d'orientation et de programmation du ministère de la justice 2023-2027 sont les sociétés remplissant les conditions mentionnées à l'article L. 210-10 du code de commerce.Pour ces personnes morales, la demande de l'habilitation prévue au premier alinéa de l'article 131-8 du code pénal est présentée au directeur du service pénitentiaire d'insertion et de probation du départem...	Les dispositions du présent décret entrent en vigueur le 1er septembre 2024.Toutefois, les sociétés disposent d'un délai d'un an, à compter du 1er septembre 2024, pour se mettre en conformité avec les exigences du présent décret, à l'exception de celles prévues aux articles 122 et 144.[object Object][object Object]La société de participations financières de profession libérale d'avocats au Conseil d'Etat et à la Cour de cassation fait connaître à l'ordre des avocats au Conseil d'Etat et à la Cour de cassation, tout changement dans la situation déclarée en application de l'article 142, dans un délai de trente jours à compter de la date de survenance de ce changement en joignant toutes les pièces justificatives.[object Object][object Object]La nullité ou la dissolution de la société n'est opposable aux tiers qu'à compter de l'accomplissement des formalités de publicité prévues par l'article 129, par le troisième alinéa de l'article 132 et par l'article 134.	`[{'source': 'DECRET 10'}, {'source': 'DECRET 4'}, {'source': 'DECRET 2'}]`

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false 5}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 4
per_device_eval_batch_size: 4
gradient_accumulation_steps: 2
learning_rate: 2e-05
num_train_epochs: 1
warmup_ratio: 0.1
fp16: True
dataloader_num_workers: 2
gradient_checkpointing: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 4
per_device_eval_batch_size: 4
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 2
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 2
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
project: huggingface
trackio_space_id: trackio
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: True
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: no
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: True
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss	legi-rag-validation_cosine_accuracy	legi-rag-test_cosine_accuracy
-1	-1	-	-	0.7800	-
0.5	50	0.3559	0.2817	0.8700	-
1.0	100	0.2331	0.2730	0.8600	-
-1	-1	-	-	-	0.9300

Framework Versions

Python: 3.12.12
Sentence Transformers: 5.2.0
Transformers: 4.57.3
PyTorch: 2.9.0+cu126
Accelerate: 1.12.0
Datasets: 4.0.0
Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

bibtex

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}