SentenceTransformer based on langtech-innovation/mRoBERTA_retrieval

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: langtech-innovation/mRoBERTA_retrieval
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'RobertaModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Triplet

• Dataset: mRoBERTA_retrieval-eval
• Evaluated with TripletEvaluator

Training Details

Training Dataset

Unnamed Dataset

• Size: 61,083 training samples
• Columns: query and text
• Approximate statistics based on the first 1000 samples:

  	query	text
  type	string	string
  details	min: 1 tokens mean: 6.99 tokens max: 57 tokens	min: 2 tokens mean: 218.94 tokens max: 512 tokens

• Samples:

  query	text
  Base de dades espacial	MEDIS —Una base de datos espacial completa sobre las islas mediterráneas para la investigación biogeográfica y evolutiva Motivación Las características intrínsecas de las islas las convierten en un sistema de estudio único para la investigación de la dinámica ecológica y evolutiva . La cuenca mediterránea , un punto caliente de biodiversidad rico en islas , aún carece de una base de datos espacial completa para estas características geográficas . Este estudio presenta la primera base de datos espacial completa de todas las islas mediterráneas mayores de 0,01 km 2 , ayudando a las investigaciones ecológicas y la investigación interdisciplinaria . Principales tipos de variable contenida La base de datos espacial MEDIS ofrece información detallada sobre 39 variables geográficas , climáticas , ecológicas y de uso del suelo , incluyendo el área de la isla , el perímetro , las métricas de aislamiento , el espacio climático , los datos del terreno , la cobertura del suelo , la paleogeografía ...
  treatment	Les persones amb trastorn de l'espectre autista ( TEA ) tenen un major risc de patir una o més condicions psiquiàtriques concomitants . Quan estan presents , aquestes condicions s'associen a deteriorament i angoixa addicionals . Per tant , és crucial que els metges i els investigadors comprenguin i abordin adequadament aquests reptes . Tanmateix , a causa de la superposició de símptomes , l'eclipsi diagnòstic i la presentació ambigua dels símptomes en el TEA , l'avaluació de les condicions concomitants en el TEA és complexa i desafiant . De la mateixa manera , els factors de diferència individual , com l'edat , el funcionament intel·lectual i el gènere , poden influir en la presentació de símptomes concomitants . En relació , un marc transdiagnòstic pot oferir utilitat per avaluar i tractar les condicions concomitants . Tanmateix , amb l'excepció dels trastorns d'ansietat , la investigació sobre el tractament de les condicions psiquiàtriques concomitants en el TEA és relativament limit...
  CSI	Ergodic Secrecy Capacity Analysis Over Composite Weibull/Inverse Gamma Fading Channel In this work , the secrecy performance of traditional Wyner ’ s model over more realistic composite wireless fading channel , i.e. , Weibull/Inverse Gamma , is investigated . The closed-form expression of average ergodic secrecy capacity is developed in terms of Fox ’ s H-function . The efficacy of the proposed solution is validated through Monte–Carlo simulation . Moreover , the importance of channel state information of eavesdropper and the multipath parameter in compensating the secrecy concern at the physical layer is comprehensively discussed .

• Loss: MultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false 5}

Evaluation Dataset

Unnamed Dataset

• Size: 7,665 evaluation samples
• Columns: query, text, and neg_text
• Approximate statistics based on the first 1000 samples:

  	query	text	neg_text
  type	string	string	string
  details	min: 1 tokens mean: 7.26 tokens max: 65 tokens	min: 2 tokens mean: 220.71 tokens max: 512 tokens	min: 4 tokens mean: 229.24 tokens max: 512 tokens

• Samples:

  query	text	neg_text
  Commemoració	Simon Perego, Pleurons-les. Les Juifs de Paris et la commémoration de la Shoah (1944-1967) (Ceyzérieu, Champ Vallon, 2020)	Problemes d'equilibri de poblacions inverses: heurístiques per a l'agregació/ruptura de cúmuls sòlids en metalls líquids
  Tumor cartilaginós	( La condrometaplàsia de la laringe és una malaltia poc freqüent . Informem d'un cas presentat al servei d'otorinolaringologia del nostre institut l'any 2015 . ) PRESENTACIÓ DEL CAS : Home de 62 anys sense antecedents de trauma presentat amb disfonia progressiva , dispnea , sense cap disfàgia . Un examen laringoscòpic de fibra òptica va revelar una massa nodular sorgida a la unió de 1/3 anterior i 2/3 posterior de la corda vocal esquerra . Una tomografia computeritzada de la regió del coll va mostrar una massa arrodonida i circumscrita sense infiltració dels teixits circumdants . La investigació histològica de la lesió va revelar la presència de teixit cartilaginós fibroelàstic , envoltat per una vora fina de teixit fibrós , amb àrees hipercel·lulars rares , cèl·lules binucleades ocasionals , hipercromàsia lleu i un perfil nuclear irregular . No hi havia activitat mitòtica . El pacient no tenia antecedents de traumatisme laringi . L'aparició subaguda i progressiva dels símptomes clínic...	The release of sexual conflict after sex loss is associated with evolutionary changes in gene expression
  Mutation	Importance of host cell arginine uptake in Francisella phagosomal escape and ribosomal protein amounts Upon entry into mammalian host cells , the pathogenic bacterium Francisella must import host cell arginine to multiply actively in the host cytoplasm . We identified and functionally characterized an arginine transporter ( hereafter designated ArgP ) whose inactivation considerably delayed bacterial phagosomal escape and intracellular multiplication . Intramacrophagic growth of the ΔargP mutant was fully restored upon supplementation of the growth medium with excess arginine , in both F. tularensis subsp . novicida and F. tularensis subsp . holarctica LVS , demonstrating the importance of arginine acquisition in these two subspecies . High-resolution mass spectrometry revealed that arginine limitation reduced the amount of most of the ribosomal proteins in the ΔargP mutant . In response to stresses such as nutritional limitation , repression of ribosomal protein synthesis has been obs...	La decoració esculpida de les lloses del presbiteri de l'església de Santa Maria Assunta d'Aquileia representa un univers harmoniós que canalitza la matèria en procés de transformació , com l'espiritualització del caro a través dels sagraments . Els diferents elements que formen aquest univers s'uneixen entre si per emfatitzar la coherència de la Creació . En aquest espai construït , els límits entre planta , mineral , animal i ornamental es dissolen i es fonen , igual que la distinció entre animals coneguts i imaginaris . En una de les lloses del presbiteri s'hi representen dues criatures amb característiques d'espècies animals terrestres , celestes i aquàtiques . Beuen de la Font-Arbre de la Vida , fent un enllaç entre l'aquí sota i el més enllà i aportant esperança de salvació . Enfrontades , s'oposen per entorpir el pas dels fidels , reforçant la funció separadora del presbiteri , marcant la frontera entre la nau i el cor , entre els laics i els clergues . Presentats sobre un supor...

• Loss: MultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false 5}

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• learning_rate: 2e-05
• warmup_ratio: 0.1
• fp16: True
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

Training Logs

Framework Versions

• Python: 3.12.11
• Sentence Transformers: 5.1.1
• Transformers: 4.56.2
• PyTorch: 2.8.0+cu126
• Accelerate: 1.10.1
• Datasets: 4.0.0
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

MultipleNegativesRankingLoss