This is a sentence-transformers model finetuned from intfloat/multilingual-e5-small. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: intfloat/multilingual-e5-small
Maximum Sequence Length: 512 tokens
Output Dimensionality: 384 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("diegolacomba/multilingual-e5-small-legal-cmnrl-5")
# Run inference
sentences = [
    'query: ¿De qué manera se determina el período de ejercicio de la actividad para el cálculo de su rendimiento en un año?',
    'passage: Descripción de hechos: Actividad de transporte de mercancías por carretera, que determina el rendimiento neto de la actividad por el método de estimación objetiva. En 2020, la actividad no se paralizó en ningún momento la actividad.\n\nCuestión planteada: Cómputo, en 2020, de los días de ejercicio de la actividad para la determinación del rendimiento neto.',
    'passage: La posterior restitución al socio de las cantidades aportadas, en tanto no suponga disminución del capital social, no constituye ningún hecho imponible del impuesto.\nLo que comunico a Vd. con efectos vinculantes, conforme a lo dispuesto en el apartado 1 del artículo 89 de la Ley 58/2003, de 17 de diciembre, General Tributaria.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Dataset: InformationRetrievalEvaluator
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.1382
cosine_accuracy@3	0.2337
cosine_accuracy@5	0.2831
cosine_accuracy@10	0.3554
cosine_accuracy@20	0.4358
cosine_precision@1	0.1382
cosine_precision@3	0.0779
cosine_precision@5	0.0566
cosine_precision@10	0.0355
cosine_recall@1	0.1382
cosine_recall@3	0.2337
cosine_recall@5	0.2831
cosine_recall@10	0.3554
cosine_ndcg@10	0.2373
cosine_mrr@10	0.2007
cosine_map@100	0.2114

Information Retrieval

Dataset: InformationRetrievalEvaluator
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.322
cosine_accuracy@3	0.4732
cosine_accuracy@5	0.5493
cosine_accuracy@10	0.6516
cosine_accuracy@20	0.7477
cosine_precision@1	0.322
cosine_precision@3	0.1577
cosine_precision@5	0.1099
cosine_precision@10	0.0652
cosine_recall@1	0.322
cosine_recall@3	0.4732
cosine_recall@5	0.5493
cosine_recall@10	0.6516
cosine_ndcg@10	0.4744
cosine_mrr@10	0.4192
cosine_map@100	0.4302

Training Details

Training Dataset

Unnamed Dataset

Size: 95,184 training samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 17 tokens
mean: 30.88 tokens
max: 55 tokens
min: 17 tokens
mean: 345.99 tokens
max: 509 tokens

Samples:

anchor	positive
`query: ¿Qué criterios deben cumplirse para que una actividad se considere sujeto pasivo del IVA en casos de obras inmobiliarias?`	passage: Estos preceptos son de aplicación general y, por tanto, también a la entidad consultante que, consecuentemente, tendrá la condición de empresario a efectos del Impuesto sobre el Valor Añadido cuando ordene un conjunto de medios personales y materiales, con independencia y bajo su responsabilidad, para desarrollar una actividad empresarial o profesional, sea de fabricación, comercio, de prestación de servicios, etc., mediante la realización continuada de entregas de bienes o prestaciones de servicios, asumiendo el riesgo y ventura que pueda producirse en el desarrollo de la actividad, siempre que las mismas se realicen, como en este caso, a título oneroso.[object Object]2.- Con respecto al sujeto pasivo de las ejecuciones de obra inmobiliaria, se debe tener en consideración lo establecido por el artículo 84 de la Ley 37/1992, en su redacción dada por Ley 7/2012, de 29 de octubre, de modificación de la normativa tributaria y presupuestaria y de adecuación de la normativa financiera para la in...
`query: ¿Cuál es el proceso para comunicar la condición de revendedor ante la administración tributaria?`	passage: En estas circunstancias puede considerarse que la consultante tiene la consideración que empresario o profesional revendedor a que se refiere el artículo 84.Uno.2º. g) de la Ley 37/1992, en los términos referidos en el transcrito artículo 24 quinquies del Reglamento del Impuesto en la medida que se dedica con habitualidad a la reventa de los bienes adquiridos a que se refieren dichas operaciones.[object Object]3.- Por otra parte, el Real Decreto 1073/2014 ha modificado también el Reglamento General de las actuaciones y los procedimientos de gestión e inspección tributaria y de desarrollo de las normas comunes de los procedimientos de aplicación de los tributos, aprobado por el Real Decreto 1065/2007, de 27 de julio, y ha incluido una nueva letra o) en el apartado 3 del artículo 9 del Reglamento con el objeto de establecer que la declaración censal, que deben presentar ante la Administración tributaria, los Empresarios, Profesionales y Retenedores, sirva también para:[object Object]“o) Comunicar la condic...
`query: ¿Cómo afecta la adquisición de servicios relacionados con terapias cognitivas a la tributación del Impuesto sobre el Valor Añadido en una nueva empresa?`	`passage: Descripción de hechos: La consultante es una entidad mercantil de nueva creación, que tiene previsto adquirir de otra entidad mercantil una serie de elementos afectos a una actividad de prestación de servicios de terapia psicológica, pedagógica y logopedia.[object Object][object Object]Cuestión planteada: Tributación de la operación citada a efectos del Impuesto sobre el Valor Añadido.`

Loss: CachedMultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "mini_batch_size": 32 5}

Evaluation Dataset

Unnamed Dataset

Size: 10,577 evaluation samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 18 tokens
mean: 30.85 tokens
max: 50 tokens
min: 33 tokens
mean: 343.78 tokens
max: 499 tokens

Samples:

anchor	positive
`query: ¿Qué requisitos establece la legislación para que una escultura sea reconocida como obra original y totalmente creada por un artista?`	passage: c) Esculturas originales y estatuas de cualquier materia, siempre que hayan sido realizadas totalmente por el artista; vaciados de esculturas, de tirada limitada a ocho ejemplares y controlada por el artista o sus derechohabientes (código NC 9703 00 00).[object Object](…).”.[object Object]3.- De acuerdo con el artículo 5 del Texto Refundido de la Ley de Propiedad Intelectual aprobado por Real Decreto Legislativo 1/1996, de 12 de abril (BOE de 22 de abril), determina que:[object Object]“1. Se considera autor a la persona natural que crea alguna obra literaria, artística o científica.[object Object]2. No obstante, de la protección que esta Ley concede al autor se podrán beneficiar personas jurídicas en los casos expresamente previstos en ella.”.[object Object]En particular, el artículo 8 del mismo texto refundido establece lo siguiente en relación a las personas jurídicas:[object Object]“Se considera obra colectiva la creada por la iniciativa y bajo la coordinación de una persona natural o jurídica que la edita y divulga bajo su nombre y está constituida por la...
`query: ¿Se aplica el IVA cuando un ayuntamiento adquiere una edificación previamente utilizada como sede de correos?`	`passage: Descripción de hechos: El consultante es un Ayuntamiento que va a adquirir una edificación, que había sido la sede municipal de Correos y Telégrafos, que se construyó sobre un terreno entregado a dicha entidad, a su vez, por el consultante.[object Object][object Object]Cuestión planteada: Si la entrega de dicho inmueble se encontrará sujeta al Impuesto sobre el Valor Añadido.`
`query: ¿Cómo se gravan fiscalmente las intervenciones de implantación de prótesis capilares en pacientes con fines estéticos según la normativa vigente?`	passage: Descripción de hechos: La consultante se dedica a la prestación de servicios médicos profesionales consistentes en el diagnóstico y prevención, tratamiento, y reconstrucción de la alopecia por miniaturización folicular y alopecia cicatricial.[object Object]Para la reconstrucción de alopecia se diseña e implantan prótesis capilares personalizadas que son adquiridas en Italia, y posteriormente son vendidas a otros profesionales médicos, o bien se entregan al paciente en el momento de la intervención.[object Object][object Object]Cuestión planteada: La consultante plantea cuestiones adicionales en relación con la contestación vinculante de 2 de octubre de 2018, consulta V2687-18. En particular:[object Object]El tipo del Impuesto sobre el Valor Añadido aplicable a las entregas y adquisiciones[object Object]intracomunitarias de prótesis capilares que son utilizadas indistintamente para fines estéticos y para fines terapéuticos adquiridas por profesionales.[object Object]El tipo impositivo aplicable a las ventas por la implantación de la prótesis, efectuadas a paci...

Loss: CachedMultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "mini_batch_size": 32 5}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 256
per_device_eval_batch_size: 256
gradient_accumulation_steps: 4
num_train_epochs: 14
lr_scheduler_type: cosine
warmup_ratio: 0.1
fp16: True
tf32: True
load_best_model_at_end: True
optim: adamw_torch_fused
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 256
per_device_eval_batch_size: 256
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 4
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 14
max_steps: -1
lr_scheduler_type: cosine
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: True
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	Validation Loss	InformationRetrievalEvaluator_cosine_ndcg@10
-1	-1	-	-	0.2373
None	0	-	4.5300	0.2369
1.0753	100	1.9765	0.6536	0.3969
2.1505	200	0.6045	0.5096	0.4365
3.2258	300	0.4937	0.4621	0.4544
4.3011	400	0.4318	0.4353	0.4581
5.3763	500	0.3963	0.4246	0.4624
6.4516	600	0.3679	0.4149	0.4644
7.5269	700	0.3475	0.3993	0.4689
8.6022	800	0.328	0.3977	0.4695
9.6774	900	0.3193	0.3929	0.4728
10.7527	1000	0.3084	0.3897	0.4729
11.8280	1100	0.2998	0.3880	0.4737
12.9032	1200	0.2998	0.3882	0.4744
13.9785	1300	0.2976	0.3877	0.4744
14.0	1302	-	0.3882	0.4744

The bold row denotes the saved checkpoint.

Framework Versions

Python: 3.11.13
Sentence Transformers: 4.1.0
Transformers: 4.54.0
PyTorch: 2.6.0+cu124
Accelerate: 1.9.0
Datasets: 4.0.0
Tokenizers: 0.21.2

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

bibtex

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

	anchor	positive
type	string	string
details	min: 17 tokens mean: 30.88 tokens max: 55 tokens	min: 17 tokens mean: 345.99 tokens max: 509 tokens