You can deploy this model and start earning money today!

Views

No views yet

Modernbert-embed-base Legal Spanish

Name: modernbert-embed-es-legal-v2
Availability: InStock

This is a sentence-transformers model finetuned from nomic-ai/modernbert-embed-base on the small-spanish-legal-dataset dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: nomic-ai/modernbert-embed-base
Maximum Sequence Length: 8192 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- small-spanish-legal-dataset
Language: es
License: apache-2.0

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False, 'architecture': 'ModernBertModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("wilfredomartel/modernbert-embed-es-legal-v2")
# Run inference
queries = [
    "La Sala de Admisi\u00f3n de la Corte Constitucional inadmiti\u00f3 la acci\u00f3n extraordinaria de protecci\u00f3n interpuesta por el Ec. Guillermo Antonio Quezada Ter\u00e1n, representante legal de TRIPLEORO CEM., debido a una serie de deficiencias sustanciales y formales identificadas en su petici\u00f3n. En primer lugar, la Sala determin\u00f3 que el accionante no logr\u00f3 justificar la relevancia constitucional del conflicto planteado. El fundamento de su acci\u00f3n se centr\u00f3 en evidenciar lo que consideraba improcedente y equivocado de la sentencia de la Segunda Sala de lo Laboral de la Corte Nacional de Justicia, argumentando que se atentaba contra los intereses econ\u00f3micos de su representada y del cant\u00f3n Machala al imponer el pago de sumas que, a su juicio, no correspond\u00edan legal ni justamente. Este tipo de argumentaci\u00f3n, centrada en la legalidad y los intereses econ\u00f3micos, no es el objeto principal de la acci\u00f3n extraordinaria de protecci\u00f3n, la cual est\u00e1 dise\u00f1ada para salvaguardar derechos constitucionales y el debido proceso, no para reexaminar la correcta aplicaci\u00f3n de leyes ordinarias o la valoraci\u00f3n de pruebas desde una perspectiva econ\u00f3mica. Adicionalmente, la Sala constat\u00f3 una falta de precisi\u00f3n en la identificaci\u00f3n del acto materia de impugnaci\u00f3n. Si bien la demanda inicialmente se dirig\u00eda contra la sentencia de 30 de noviembre de 2009, emitida dentro del recurso de casaci\u00f3n No. 128-2009, en la secci\u00f3n de pretensiones se solicitaba la nulidad de todo lo actuado desde la sentencia dictada por el Juez Primero Ocasional del Trabajo de El Oro, dentro del juicio laboral No. 16-2006. Esta imprecisi\u00f3n genera incertidumbre sobre el alcance de la impugnaci\u00f3n y el acto espec\u00edfico que supuestamente vulner\u00f3 derechos constitucionales, dificultando el an\u00e1lisis de procedibilidad.",
]
documents = [
    "What specific procedural and substantive deficiencies led the Constitutional Court's Sala de Admisión to inadmit the extraordinary protection action filed by Ec. Guillermo Antonio Quezada Terán, representing TRIPLEORO CEM., against the National Court of Justice's labor ruling?",
    '¿Cuál fue el motivo principal por el cual la Sala de Admisión de la Corte Constitucional inadmitió a trámite la acción extraordinaria de protección N° 0377-19-EP, presentada por el Ministerio de Educación?',
    '¿Cuál fue la razón principal por la que la Sala de Admisión de la Corte Constitucional inadmitió a trámite la acción extraordinaria de protección No. 0230-10-EP presentada por Juan Edmundo Castillo Salas?',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.6813, 0.2940, 0.1824]])

Evaluation

Metrics

Information Retrieval

Dataset: dim_768
Evaluated with InformationRetrievalEvaluator with these parameters:
json
1{ 2 "truncate_dim": 768 3}

Metric	Value
cosine_accuracy@1	0.8992
cosine_accuracy@3	0.9597
cosine_accuracy@5	0.9698
cosine_accuracy@10	0.9772
cosine_precision@1	0.8992
cosine_precision@3	0.3199
cosine_precision@5	0.194
cosine_precision@10	0.0977
cosine_recall@1	0.8992
cosine_recall@3	0.9597
cosine_recall@5	0.9698
cosine_recall@10	0.9772
cosine_ndcg@10	0.9427
cosine_mrr@10	0.9312
cosine_map@100	0.9318

Information Retrieval

Dataset: dim_512
Evaluated with InformationRetrievalEvaluator with these parameters:
json
1{ 2 "truncate_dim": 512 3}

Metric	Value
cosine_accuracy@1	0.898
cosine_accuracy@3	0.9603
cosine_accuracy@5	0.9674
cosine_accuracy@10	0.9763
cosine_precision@1	0.898
cosine_precision@3	0.3201
cosine_precision@5	0.1935
cosine_precision@10	0.0976
cosine_recall@1	0.898
cosine_recall@3	0.9603
cosine_recall@5	0.9674
cosine_recall@10	0.9763
cosine_ndcg@10	0.9416
cosine_mrr@10	0.93
cosine_map@100	0.9306

Training Details

Training Dataset

small-spanish-legal-dataset

Dataset: small-spanish-legal-dataset at f7d3e93
Size: 7,872 training samples
Columns: pos and query
Approximate statistics based on the first 1000 samples:
pos query
type string string
details
min: 100 tokens
mean: 276.89 tokens
max: 563 tokens
min: 35 tokens
mean: 65.86 tokens
max: 123 tokens

Samples:

pos	query
Para que la Corte Constitucional admita a trámite una acción extraordinaria de protección, se deben cumplir dos tipos de requisitos esenciales, tanto de forma como de fondo. Formalmente, es imperativo que el recurso se presente contra «sentencias, autos definitivos y resoluciones con fuerza de sentencia» que sean «firmes o ejecutoriados». Este requisito está explícitamente establecido en el artículo 437 de la Constitución de la República, garantizando que la acción se dirige contra decisiones judiciales que han adquirido calidad de cosa juzgada o tienen efectos definitivos. Adicionalmente, el artículo 60 de la Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional fija un término perentorio para la interposición de este tipo de acciones, el cual debe ser estrictamente respetado para asegurar la celeridad y certeza jurídica. Sustantivamente, el núcleo de la admisibilidad radica en que el recurrente debe demostrar de manera fehaciente que, durante el proceso judicial que cul...	`¿Qué requisitos fundamentales, tanto sustantivos como formales, debe cumplir una acción extraordinaria de protección para ser admitida a trámite por la Corte Constitucional, según los principios invocados en el caso 0745-11-EP?`
Tras la declaración de abandono del proceso en el caso N° 3296-18-EP, el actor Manuel Segundo Landázuri Guzmán interpuso un recurso de apelación contra el auto de abandono. Sin embargo, la jueza de la Unidad Judicial Civil negó dicho recurso por improcedente, argumentando que el Código Orgánico General de Procesos (COGEP) no contemplaba la apelación contra autos de abandono. Posteriormente, el actor solicitó la revocatoria del auto que negó la apelación y también interpuso un recurso de hecho. La jueza, aplicando el Art. 252 del COGEP, negó estos recursos por considerarlos improcedentes, al no permitir recursos horizontales y verticales sucesivos en el mismo acto procesal. Finalmente, ante la solicitud de aclaración y ampliación del actor, la jueza la rechazó por extemporánea, y la posterior revocatoria de este último auto también fue negada.	`¿Qué recursos procesales intentó el actor Manuel Segundo Landázuri Guzmán contra el auto de abandono del proceso en el caso N° 3296-18-EP y cómo fueron resueltos por la jueza de la Unidad Judicial Civil?`
La Sala de Admisión de la Corte Constitucional inadmitió la acción extraordinaria de protección N°. 1320-19-EP porque no cumplió con los requisitos de admisibilidad estipulados en el artículo 62, numeral 1 de la Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional (LOGJCC). Específicamente, los accionantes no presentaron un argumento claro sobre el derecho supuestamente violado y su relación directa e inmediata, por acción u omisión, con la autoridad judicial. A pesar de las alegaciones sobre vulneraciones a la seguridad jurídica y al debido proceso, en particular respecto al principio de preclusión y la debida motivación, la Sala no apreció un fundamento claro que vinculara de manera precisa estas supuestas violaciones con la conducta de los jueces de la Sala Especializada de lo Contencioso Administrativo de la Corte Nacional de Justicia. Esta deficiencia en la demostración de un nexo causal directo entre la actuación judicial y la afectación de derechos constitucionale...	`¿Por qué la Sala de Admisión de la Corte Constitucional inadmitió la acción extraordinaria de protección N°. 1320-19-EP, presentada contra la sentencia de casación de la Corte Nacional de Justicia del 1 de abril de 2019?`

Loss: MatryoshkaLoss with these parameters:
json
1{ 2 "loss": "MultipleNegativesRankingLoss", 3 "matryoshka_dims": [ 4 768, 5 512 6 ], 7 "matryoshka_weights": [ 8 1, 9 1 10 ], 11 "n_dims_per_step": -1 12}

Evaluation Dataset

small-spanish-legal-dataset

Dataset: small-spanish-legal-dataset at f7d3e93
Size: 3,374 evaluation samples
Columns: pos and query
Approximate statistics based on the first 1000 samples:
pos query
type string string
details
min: 112 tokens
mean: 281.79 tokens
max: 574 tokens
min: 33 tokens
mean: 65.65 tokens
max: 102 tokens

Samples:

pos	query
La señora Ana Lucía Atzuchi Maza alegó la vulneración de sus derechos constitucionales al debido proceso, seguridad jurídica y al trabajo. En cuanto al debido proceso, argumentó que la decisión judicial impugnada carecía de motivación, al no existir una relación lógica entre las afirmaciones y las conclusiones del fallo, ni una exposición de razones que justificaran la adopción de la decisión. Específicamente, señaló que los jueces resolvieron que ella estaba excluida de la carrera del servicio público sin abordar la vulneración de sus derechos. Respecto a la seguridad jurídica, mencionó que los jueces de segunda instancia no realizaron un análisis sobre la vulneración de derechos y que la sentencia contradecía jurisprudencia vinculante de la Corte Constitucional. Finalmente, en lo referente al derecho al trabajo, indicó que se vulneró su derecho y cualquier proyecto de vida que legítimamente aspiró, citando sentencias constitucionales relevantes.	`¿Qué derechos constitucionales alegó la señora Ana Lucía Atzuchi Maza que fueron vulnerados por la sentencia de la Corte Provincial de Morona Santiago en el caso Nro. 2615-19-EP?`
La Corte Constitucional inadmitió a trámite la acción extraordinaria de protección Nro. 0875-09-EP, presentada por Guillermo Antonio Quezada Terán, debido a que la demanda carecía de la debida argumentación sobre los derechos constitucionales supuestamente vulnerados y no justificaba la relevancia constitucional del conflicto planteado. El fundamento principal de la acción se centraba en demostrar la improcedencia y el error de la sentencia, argumentando que se atentaba contra los intereses económicos de su representada y del pueblo de Machala al imponerles el pago de valores que no les correspondían, lo cual es un planteamiento de legalidad cuya dilucidación no compete a la Corte Constitucional. Adicionalmente, la demanda presentaba imprecisiones en la identificación del acto impugnado, al referirse inicialmente a una sentencia de la Corte Nacional de Justicia y luego solicitar la nulidad de actuaciones previas dictadas por un Juez de Trabajo de El Oro, contraviniendo así lo estipulad...	`¿Cuál fue la razón principal por la que la Corte Constitucional inadmitió a trámite la acción extraordinaria de protección Nro. 0875-09-EP presentada por Guillermo Antonio Quezada Terán?`
La Corte Constitucional inadmitió la acción extraordinaria de protección Nro. 3314-18-EP debido a que el accionante incurrió en una causal de inadmisión establecida en el numeral 4 del artículo 62 de la Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional. Dicha causal estipula que el fundamento de la acción no debe sustentar en la falta de aplicación o errónea aplicación de la ley. En este caso, el Director Zonal 8 del Servicio de Rentas Internas alegó que la decisión de inadmitir su recurso de casación por parte de la Corte Nacional de Justicia evidenciaba una violación a lo establecido en varios artículos del Código Orgánico General de Procesos y del Código Tributario. Al basar su acción en la supuesta inobservancia y aplicación errónea de normativa legal, el accionante activó directamente la causal de inadmisión mencionada.	`¿Cuál fue la razón principal por la que la Corte Constitucional inadmitió la acción extraordinaria de protección Nro. 3314-18-EP interpuesta por el Director Zonal 8 del Servicio de Rentas Internas contra la sentencia del 15 de noviembre de 2018?`

Loss: MatryoshkaLoss with these parameters:
json
1{ 2 "loss": "MultipleNegativesRankingLoss", 3 "matryoshka_dims": [ 4 768, 5 512 6 ], 7 "matryoshka_weights": [ 8 1, 9 1 10 ], 11 "n_dims_per_step": -1 12}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: epoch
per_device_train_batch_size: 16
per_device_eval_batch_size: 16
gradient_accumulation_steps: 16
learning_rate: 2e-05
num_train_epochs: 4
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: True
tf32: True
load_best_model_at_end: True
optim: adamw_torch_fused
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: epoch
prediction_loss_only: True
per_device_train_batch_size: 16
per_device_eval_batch_size: 16
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 16
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 4
max_steps: -1
lr_scheduler_type: cosine
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: True
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss	dim_768_cosine_ndcg@10	dim_512_cosine_ndcg@10
0.1626	5	2.3283	-	-	-
0.3252	10	0.9426	-	-	-
0.4878	15	0.1179	-	-	-
0.6504	20	0.0558	-	-	-
0.8130	25	0.0543	-	-	-
0.9756	30	0.0503	-	-	-
1.0	31	-	0.0468	0.9357	0.9349
1.1301	35	0.025	-	-	-
1.2927	40	0.0124	-	-	-
1.4553	45	0.0248	-	-	-
1.6179	50	0.0196	-	-	-
1.7805	55	0.0168	-	-	-
1.9431	60	0.0252	-	-	-
2.0	62	-	0.0310	0.9399	0.9386
2.0976	65	0.0193	-	-	-
2.2602	70	0.0092	-	-	-
2.4228	75	0.0133	-	-	-
2.5854	80	0.0131	-	-	-
2.7480	85	0.0053	-	-	-
2.9106	90	0.008	-	-	-
3.0	93	-	0.0289	0.9421	0.9411
3.0650	95	0.0114	-	-	-
3.2276	100	0.0058	-	-	-
3.3902	105	0.0116	-	-	-
3.5528	110	0.0097	-	-	-
3.7154	115	0.0128	-	-	-
3.8780	120	0.0048	-	-	-
4.0	124	-	0.0282	0.9427	0.9416

The bold row denotes the saved checkpoint.

Framework Versions

Python: 3.11.13
Sentence Transformers: 5.1.0
Transformers: 4.55.2
PyTorch: 2.6.0+cu124
Accelerate: 1.10.0
Datasets: 4.0.0
Tokenizers: 0.21.4

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

bibtex

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

bibtex

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

	pos	query
type	string	string
details	min: 100 tokens mean: 276.89 tokens max: 563 tokens	min: 35 tokens mean: 65.86 tokens max: 123 tokens