This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: intfloat/multilingual-e5-base
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
queries = [
    "qubit",
]
documents = [
    "Las propiedades de los elementos de tierras raras diluidos en cristales no magnéticos los convierten en candidatos prometedores para la memoria cuántica debido a su limitado espacio de Hilbert . El control y la lectura de los estados de cúbits requieren una medición altamente sensible y un gran acoplamiento del conjunto de espín con el modo electromagnético de un resonador superconductor . Reportamos la detección sensible de transiciones prohibidas de estados electronucleares de las especies minoritarias de los isótopos < math display= '' inline '' overflow= '' scroll '' > < msup > < mi/ > < mn > 155 < /mn > < /msup > < mi > Gd < /mi > < /math > y < math display= '' inline '' overflow= '' scroll '' > < msup > < mi/ > < mn > 157 < /mn > < /msup > < mi > Gd < /mi > < /math > , lo que abre la posibilidad de conectar estados cuánticos con proyecciones de espín muy diferentes . Las mediciones de perturbación de cavidad observadas en la señal reflejada permiten la detección de aproximadamente < math display= '' inline '' overflow= '' scroll '' > < mn > 7,6 < /mn > < mo > × < /mo > < msup > < mn > 10 < /mn > < mn > 7 < /mn > < /msup > < /math > espines y la medición de la tasa de pérdida de memoria de fase y la fuerza de acoplamiento espín-fotón .",
    'Tracing the seismic history of Sant’Agata del Mugello (Italy, Tuscany) through a cross-disciplinary approach',
    "La baixada de microRNA-9 redueix la resposta inflamatòria i la proliferació de fibroblasts en ratolins amb fibrosi pulmonar idiopàtica a través de la via TGF-β-Smad3 mediada per ANO1. La fibrosi pulmonar idiopàtica ( FPI ) és una malaltia pulmonar intersticial progressiva amb una freqüència creixent , altes taxes de mortalitat i règims de tractament desfavorables . En l'estudi actual , hem identificat l'expressió de microRNA-9 ( miR-9 ) i anoctamina-1 ( ANO1 ) en models de ratolí IPF induïts per bleomicina , i els seus efectes sobre la inflamació i la proliferació de fibroblasts mitjançant la via del factor de creixement transformant-β ( TGF-β ) -Smad3 . Per verificar la relació d'orientació entre miR-9 i ANO1 , vam utilitzar la predicció bioinformàtica i vam realitzar un assaig del gen reporter de doble luciferasa . Els mecanismes reguladors subjacents de miR-9 i el gen objectiu ANO1 es van investigar principalment amb el tractament de miR-9 , inhibidor de miR-9 o siRNA contra ANO1 en fibroblasts aïllats de ratolins IPF . Es va realitzar un assaig immunosorbent lligat a enzims per investigar l'efecte de miR-9 o ANO1 sobre els factors inflamatoris . Per detectar la proliferació de fibroblasts i l'apoptosi es va utilitzar l'anàlisi de bromur de 3- ( 4,5-dimetiltiazol-2-il ) -2,5-difeniltetrazoli i la citometria de flux . Es van aplicar la reacció en cadena quantitativa de la polimerasa de transcripció inversa i l'anàlisi de western blot per mesurar l'expressió dels gens relacionats amb la via TGF-β-Smad3 . La determinació de l'activitat de la luciferasa va suggerir que miR-9 s'adreça a ANO1 . La regulació a l'alça de miR-9 o el silenciament de l'ANO1 va intensificar la inflamació en IPF , va promoure la proliferació i va inhibir la capacitat apoptòtica dels fibroblasts pulmonars . MiR-9 va modular negativament ANO1 i , per tant , va activar la via TGF-β-Smad3 . Aquestes troballes suggereixen que miR-9 pot activar indirectament la via TGF-β-Smad3 inhibint l'expressió d'ANO1 , agreujant així la inflamació , afavorint la proliferació i suprimint l'apoptosi dels fibroblasts pulmonars en models de ratolins d'IPF .",
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.4068, -0.1499, -0.0297]])

Evaluation

Metrics

Triplet

Dataset: multilingual-e5-base-eval
Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.9669

Training Details

Training Dataset

Unnamed Dataset

Size: 61,083 training samples
Columns: query and text
Approximate statistics based on the first 1000 samples:
query text
type string string
details
min: 2 tokens
mean: 8.49 tokens
max: 63 tokens
min: 6 tokens
mean: 233.47 tokens
max: 512 tokens

Samples:

query	text
`Base de dades espacial`	`MEDIS —Una base de datos espacial completa sobre las islas mediterráneas para la investigación biogeográfica y evolutiva`
`treatment`	Condicions psiquiàtriques concomitants en el trastorn de l'espectre autista. Les persones amb trastorn de l'espectre autista ( TEA ) tenen un major risc de patir una o més condicions psiquiàtriques concomitants . Quan estan presents , aquestes condicions s'associen a deteriorament i angoixa addicionals . Per tant , és crucial que els metges i els investigadors comprenguin i abordin adequadament aquests reptes . Tanmateix , a causa de la superposició de símptomes , l'eclipsi diagnòstic i la presentació ambigua dels símptomes en el TEA , l'avaluació de les condicions concomitants en el TEA és complexa i desafiant . De la mateixa manera , els factors de diferència individual , com l'edat , el funcionament intel·lectual i el gènere , poden influir en la presentació de símptomes concomitants . En relació , un marc transdiagnòstic pot oferir utilitat per avaluar i tractar les condicions concomitants . Tanmateix , amb l'excepció dels trastorns d'ansietat , la investigació sobre el tractament ...
`CSI`	`Ergodic Secrecy Capacity Analysis Over Composite Weibull/Inverse Gamma Fading Channel`

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false 5}

Evaluation Dataset

Unnamed Dataset

Size: 7,665 evaluation samples
Columns: query, text, and neg_text
Approximate statistics based on the first 1000 samples:
query text neg_text
type string string string
details
min: 2 tokens
mean: 8.98 tokens
max: 57 tokens
min: 3 tokens
mean: 245.77 tokens
max: 512 tokens
min: 3 tokens
mean: 246.09 tokens
max: 512 tokens

Samples:

query	text	neg_text
`Conmemoración`	`Simon Perego, Pleurons-les. Les Juifs de Paris et la commémoration de la Shoah (1944-1967) (Ceyzérieu, Champ Vallon, 2020)`	La ribonucleoproteína nuclear heterogénea K inhibe la actividad transcripcional del factor de choque térmico 1 inducida por el choque térmico. Cuando las células se exponen a un choque térmico y a otros tipos de estrés , se activa el factor de choque térmico 1 ( HSF1 ) y se desencadena la respuesta al choque térmico ( HSR ) . Para comprender mejor la regulación molecular de la HSR , utilizamos el análisis del proteoma basado en 2D-PAGE para detectar proteínas celulares modificadas postraduccionalmente inducidas por el choque térmico . Nuestro análisis reveló que dos manchas proteicas , típicamente presentes en geles de 2D-PAGE y que contienen ribonucleoproteína nuclear heterogénea K ( hnRNP K ) con Cys < sup > 132 < /sup > trioxidada , desaparecieron tras el tratamiento de choque térmico y reaparecieron durante la recuperación , pero la cantidad total de proteína hnRNP K permaneció inalterada . A continuación , evaluamos si hnRNP K desempeña un papel en la HSR regulando HSF1 y descubri...
`Cartilaginous tumour`	Condrometaplàsia de la corda vocal en un mascle adult. ( La condrometaplàsia de la laringe és una malaltia poc freqüent . Informem d'un cas presentat al servei d'otorinolaringologia del nostre institut l'any 2015 . ) PRESENTACIÓ DEL CAS : Home de 62 anys sense antecedents de trauma presentat amb disfonia progressiva , dispnea , sense cap disfàgia . Un examen laringoscòpic de fibra òptica va revelar una massa nodular sorgida a la unió de 1/3 anterior i 2/3 posterior de la corda vocal esquerra . Una tomografia computeritzada de la regió del coll va mostrar una massa arrodonida i circumscrita sense infiltració dels teixits circumdants . La investigació histològica de la lesió va revelar la presència de teixit cartilaginós fibroelàstic , envoltat per una vora fina de teixit fibrós , amb àrees hipercel·lulars rares , cèl·lules binucleades ocasionals , hipercromàsia lleu i un perfil nuclear irregular . No hi havia activitat mitòtica . El pacient no tenia antecedents de traumatisme laringi . ...	Flujo de potencia óptimo multiobjetivo descentralizado basado en intercambio incremental para redes de distribución activas Para aumentar la utilización de los recursos energéticos distribuidos ( DER ) y reducir su influencia negativa , este artículo propone un algoritmo de flujo de potencia óptimo multiobjetivo descentralizado ( MO-OPF ) basado en el intercambio de incrementos para redes de distribución con alta integración de DER . En el modelo MO-OPF , el operador de red y los propietarios de DER persiguen sus propios objetivos operativos y económicos , garantizando al mismo tiempo que se satisfacen los límites de voltaje y potencia de rama en toda la red . El algoritmo propuesto permite la solución del problema MO-OPF de forma descentralizada , sin exponer la información privada de ningún DER al operador de red . Su idea central es utilizar las funciones cuadráticas de los incrementos de las variables de acoplamiento para describir el impacto de los propietarios de DER en el operad...
`Mutation`	`Importance of host cell arginine uptake in Francisella phagosomal escape and ribosomal protein amounts`	`Movimientos pseudo-rígidos para interacciones multi-doigts plus flexibles`

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false 5}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 32
per_device_eval_batch_size: 32
learning_rate: 2e-05
warmup_ratio: 0.1
fp16: True
load_best_model_at_end: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 32
per_device_eval_batch_size: 32
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 3
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
project: huggingface
trackio_space_id: trackio
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: no
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: True
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss	multilingual-e5-base-eval_cosine_accuracy
0.0524	100	2.4193	-	-
0.1048	200	1.3554	-	-
0.1572	300	1.1083	-	-
0.2095	400	1.0894	-	-
0.2619	500	1.0579	1.3215	0.9534
0.3143	600	1.0648	-	-
0.3667	700	1.0697	-	-
0.4191	800	1.027	-	-
0.4715	900	1.0204	-	-
0.5238	1000	1.0525	1.2678	0.9597
0.5762	1100	0.9765	-	-
0.6286	1200	0.9966	-	-
0.6810	1300	1.0109	-	-
0.7334	1400	1.0127	-	-
0.7858	1500	0.9807	1.2329	0.9618
0.8381	1600	0.934	-	-
0.8905	1700	0.9604	-	-
0.9429	1800	0.9516	-	-
0.9953	1900	0.9717	-	-
1.0477	2000	0.7463	1.2005	0.9640
1.1001	2100	0.7382	-	-
1.1524	2200	0.7492	-	-
1.2048	2300	0.759	-	-
1.2572	2400	0.723	-	-
1.3096	2500	0.7376	1.1902	0.9656
1.3620	2600	0.7451	-	-
1.4144	2700	0.7604	-	-
1.4667	2800	0.7702	-	-
1.5191	2900	0.727	-	-
1.5715	3000	0.6999	1.1856	0.9654
1.6239	3100	0.7622	-	-
1.6763	3200	0.7455	-	-
1.7287	3300	0.7353	-	-
1.7810	3400	0.7299	-	-
1.8334	3500	0.701	1.1674	0.9661
1.8858	3600	0.7078	-	-
1.9382	3700	0.7605	-	-
1.9906	3800	0.7139	-	-
2.0430	3900	0.5847	-	-
2.0953	4000	0.5557	1.1641	0.9661
2.1477	4100	0.583	-	-
2.2001	4200	0.5811	-	-
2.2525	4300	0.5914	-	-
2.3049	4400	0.5766	-	-
2.3573	4500	0.5604	1.1533	0.9654
2.4096	4600	0.5693	-	-
2.4620	4700	0.5764	-	-
2.5144	4800	0.5526	-	-
2.5668	4900	0.5788	-	-
2.6192	5000	0.5622	1.1519	0.9669

Framework Versions

Python: 3.12.12
Sentence Transformers: 5.2.0
Transformers: 4.57.3
PyTorch: 2.9.0+cu126
Accelerate: 1.12.0
Datasets: 4.0.0
Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

bibtex

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

	query	text
type	string	string
details	min: 2 tokens mean: 8.49 tokens max: 63 tokens	min: 6 tokens mean: 233.47 tokens max: 512 tokens

nicolauduran45/e5_retrieval-scientific_domain

SentenceTransformer based on intfloat/multilingual-e5-base

Model Details

Model Description

Model Sources

Full Model Architecture

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Triplet

Training Details

Training Dataset

Unnamed Dataset

Evaluation Dataset

Unnamed Dataset

Training Hyperparameters

Non-Default Hyperparameters

All Hyperparameters

Training Logs

Framework Versions

Citation

BibTeX

Sentence Transformers

MultipleNegativesRankingLoss

nicolauduran45/
e5_retrieval-scientific_domain