BGE-M3 Legal Spanish (Fine-tuned)

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • rtz20250828
• Language: es
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Information Retrieval

• Dataset: eval_dim_1024
• Evaluated with InformationRetrievalEvaluator with these parameters:
  json

  1{ 2 "truncate_dim": 1024 3}

Information Retrieval

• Dataset: eval_dim_768
• Evaluated with InformationRetrievalEvaluator with these parameters:
  json

  1{ 2 "truncate_dim": 768 3}

Information Retrieval

• Dataset: eval_dim_512
• Evaluated with InformationRetrievalEvaluator with these parameters:
  json

  1{ 2 "truncate_dim": 512 3}

Training Details

Training Dataset

rtz20250828

• Dataset: rtz20250828 at 03e19d5
• Size: 137,404 training samples
• Columns: query and pos
• Approximate statistics based on the first 1000 samples:

  	query	pos
  type	string	string
  details	min: 16 tokens mean: 53.26 tokens max: 103 tokens	min: 79 tokens mean: 231.68 tokens max: 523 tokens

• Samples:

  query	pos
  ¿Qué derechos constitucionales específicos se alegan vulnerados en la acción extraordinaria de protección presentada por la Agencia de Viajes y Turismo Wanderjhar del Ecuador S.A. contra las resoluciones de la Corte Nacional y Provincial de Justicia?	En la acción extraordinaria de protección interpuesta por la Agencia de Viajes y Turismo Wanderjhar del Ecuador S.A., se alegan vulnerados varios derechos constitucionales específicos. Entre ellos se mencionan la aplicación directa e inmediata de la Constitución (Art. 11, numeral 3), la aplicación e interpretación que favorezca la vigencia de la norma constitucional (Art. 11, numeral 5), el derecho a la tutela judicial efectiva, imparcial y expedita (Art. 75), el derecho al debido proceso (Art. 76, numeral 1), el derecho a la seguridad jurídica (Art. 82), el principio de motivación y congruencia (Art. 76, literal i), el principio de jerarquía y prevalencia de la Constitución (Art. 424 y 425), y el reconocimiento del arbitraje y la mediación como medios alternativos de solución de conflictos (Art. 190). La argumentación se centra en que las decisiones judiciales ordinarias desconocieron la cláusula arbitral pactada, violando así estos derechos fundamentales.
  ¿En qué fecha y bajo qué número de causa se dictó la sentencia que Hugo Eduardo Pérez Pacheco busca impugnar mediante una Acción Extraordinaria de Protección ante la Corte Constitucional?	La sentencia que Hugo Eduardo Pérez Pacheco busca impugnar fue dictada el 02 de Julio del 2014 a las 16h55, y fue notificada el 07 de julio del 2014, dentro de la Causa No 1972-12. El Sr. Pérez Pacheco, en calidad de ex trabajador de la Mutualista Benalcázar en liquidación, considera que dicha resolución de la Sala de lo Laboral de la Corte Nacional de Justicia viola el debido proceso y sus derechos constitucionales y laborales. Específicamente, alega que se le negó el pago completo de la jubilación patronal global que le correspondía, a diferencia de otros ex compañeros de trabajo. La acción se fundamenta en los artículos 58 y siguientes de la Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional, buscando la protección de sus derechos fundamentales ante la máxima instancia constitucional del país, dado que la sentencia de la Corte Nacional es inapelable.
  ¿Qué tipo de personalidad jurídica se concedió a la Sociedad de Especialidades Clínicas Santo Domingo “SOEC.SD” y cuál es su domicilio, según el Acuerdo Ministerial Nro. 00000091 del Ministerio de Salud Pública?	El Acuerdo Ministerial Nro. 00000091 del Ministerio de Salud Pública concedió personalidad jurídica y aprobó el estatuto de la Sociedad de Especialidades Clínicas Santo Domingo “SOEC.SD”. La organización tiene su domicilio establecido en la ciudad de Santo Domingo, provincia del Santo Domingo de los Tsáchilas. La concesión de esta personalidad jurídica se realizó en ejercicio de las atribuciones delegadas al Viceministro de Gobernanza y Vigilancia de la Salud, y la sociedad deberá cumplir con las obligaciones estipuladas en el Reglamento para el Funcionamiento del Sistema Unificado de Información de las Organizaciones Sociales y Ciudadanas.

• Loss: MatryoshkaLoss with these parameters:
  json

  1{ 2 "loss": "MultipleNegativesRankingLoss", 3 "matryoshka_dims": [ 4 1024, 5 768, 6 512 7 ], 8 "matryoshka_weights": [ 9 1, 10 1, 11 1 12 ], 13 "n_dims_per_step": -1 14}

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• gradient_accumulation_steps: 4
• learning_rate: 2e-05
• num_train_epochs: 4
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• bf16: True
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

Training Logs

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 5.1.0
• Transformers: 4.55.4
• PyTorch: 2.8.0.dev20250319+cu128
• Accelerate: 1.10.1
• Datasets: 4.0.0
• Tokenizers: 0.21.4

Citation

BibTeX

Sentence Transformers

MatryoshkaLoss

MultipleNegativesRankingLoss