Multilingual E5 Large trained with triplet loss

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity
• Training Dataset:
  • csv
• Language: multilingual
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Triplet

• Dataset: validation-set
• Evaluated with TripletEvaluator

Triplet

• Dataset: test-set
• Evaluated with TripletEvaluator

Training Details

Training Dataset

csv

• Dataset: csv
• Size: 10,590 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 18 tokens mean: 112.13 tokens max: 315 tokens	min: 20 tokens mean: 109.24 tokens max: 314 tokens	min: 17 tokens mean: 102.06 tokens max: 298 tokens

• Samples:

  anchor	positive	negative
  query: Pieza recta de hormigón para bordillos, doble capa, con sección normalizada peatonal A1 20x14 cm, según UNE 127340, de clase climática B, clase resistente a la abrasión H y clase resistente a flexión T (R-5 MPa) según UNE-EN 1340, colocado sobre base de hormigón no estructural HNE-15/P/40 de 20 a 25 cm de altura, y rejuntado con mortero para albañilería	passage: Elemento recto de concreto para bordillos, de doble capa, con dimensiones estandarizadas peatonales A1 20x14 cm, conforme a UNE 127340, de clase climática B, resistencia a la abrasión H y resistencia a flexión T (R-5 MPa) según UNE-EN 1340, instalado sobre una base de concreto no estructural HNE-15/P/40 de 20 a 25 cm de altura, y sellado con mortero para mampostería.	passage: Pieza curvada de hormigón para muros, capa simple, con sección no normalizada vehicular B2 30x20 cm, según UNE 127341, de clase climática A, clase resistente a la abrasión M y clase resistente a flexión S (R-10 MPa) según UNE-EN 1341, colocado sobre base de hormigón estructural HNE-20/P/50 de 15 a 20 cm de altura, y sellado con cemento para construcción.
  query: Porta block de fulles batents de fusta per a interior, doble batent, de 35 mm de gruix, amb una llum de pas de 70 + 40 cm d'amplària i 200 cm d'alçària, per a un gruix de bastiment de 10 cm, com a màxim, acabat tropical envernissada, amb fulla cares llises de tauler aglomerat hidròfug xapat, galzes i tapajunts de MDF xapat, ribet de goma, ferramenta de penjar, pany de cop, amb joc de manetes, d'alumini anoditzat, amb placa petita, de preu mitjà	passage: Porta de fusta interior amb fulles batents, doble batent, gruix de 35 mm, amplada de 70 + 40 cm i alçada de 200 cm, dissenyada per a un gruix de bastiment de 10 cm com a màxim, acabat envernissat tropical, amb cares llises de tauler aglomerat resistent a la humitat, galzes i tapajunts de MDF, ribet de goma, incloent ferramenta de penjar, pany de cop, i joc de manetes d'alumini anoditzat amb placa petita, de gamma mitjana.	passage: Porta de fulles corredisses de metall per a exterior, amb un sistema de tancament automàtic, de 45 mm de gruix, amb una llum de pas de 80 + 50 cm d'amplària i 210 cm d'alçària, per a un gruix de bastiment de 12 cm, acabat galvanitzat, amb fulla de vidre temperitzat, marcs de ferro, segellat de silicona, mecanisme de bloqueig electrònic, amb manetes de plàstic reforçat, amb placa gran, de preu alt.
  query: Formigonament de murs de contenció (CE, EHE), de 3 m d'alçària com a màxim, amb formigó en massa HM - 30 / B / 10 / XA2 amb una quantitat de ciment de 350 kg/m3 i relació aigua ciment =< 0.5 i abocat des de camió	passage: Construcció de murs de contenció (CE, EHE) amb una alçada màxima de 3 m, utilitzant formigó massiu HM - 30 / B / 10 / XA2, amb una dosi de ciment de 350 kg/m3 i una relació aigua-ciment ≤ 0.5, abocat directament des d'un camió.	passage: Formigonament de murs de suport (CE, EHE), de 4 m d'alçària com a mínim, amb formigó estructural C25/30 amb una quantitat de ciment de 400 kg/m3 i relació aigua ciment =< 0.45 i abocat manualment.

• Loss: Matryoshka2dLoss with these parameters:
  json

  1{ 2 "loss": "MultipleNegativesRankingLoss", 3 "n_layers_per_step": 1, 4 "last_layer_weight": 1.0, 5 "prior_layers_weight": 1.0, 6 "kl_div_weight": 1.0, 7 "kl_temperature": 0.3, 8 "matryoshka_dims": [ 9 1024, 10 768, 11 512, 12 256 13 ], 14 "matryoshka_weights": [ 15 1, 16 1, 17 1, 18 1 19 ], 20 "n_dims_per_step": 1 21}

Evaluation Dataset

csv

• Dataset: csv
• Size: 10,590 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 23 tokens mean: 112.95 tokens max: 320 tokens	min: 26 tokens mean: 109.87 tokens max: 302 tokens	min: 23 tokens mean: 103.28 tokens max: 309 tokens

• Samples:

  anchor	positive	negative
  query: Aïllament tèrmic amb placa rígida d'escuma de poliisocianurat, de 35 kg/m3 de densitat, de 80 mm de gruix i 0,023 W/(m·K) de conductivitat tèrmica, amb recobriment de multicapa alumini, per a cobertes, amb fixacions mecàniques	passage: Aïllament tèrmic amb panells rígids d'escuma de poliuretà, de 35 kg/m3 de densitat, de 80 mm de gruix i 0,022 W/(m·K) de conductivitat tèrmica, amb recobriment d'alumini multicapa, per a teulades, amb sistemes de fixació mecànica.	passage: Aïllament acústic amb panells flexibles de fibra de vidre, de 50 kg/m3 de densitat, de 100 mm de gruix i 0,045 W/(m·K) de conductivitat acústica, amb recobriment de plàstic, per a parets interiors, amb adhesius especials.
  query: Hormigonado para encepados, con hormigón para armar con aditivo hidrófugo HA - 35 / B / 20 / XC4 + XF1 + XA1 con una cantidad de cemento de 325 kg/m3 i relación agua cemento =< 0.5, colocado con cubilote en obras de ingeniería civil	passage: Mezcla de hormigón para cimentaciones, utilizando hormigón armado con aditivo impermeabilizante HA - 35 / B / 20 / XC4 + XF1 + XA1, con una dosificación de cemento de 325 kg/m3 y una relación agua-cemento menor o igual a 0.5, aplicado con cubilote en proyectos de infraestructura civil.	passage: Hormigonado para fundaciones, con hormigón para estructuras con aditivo retardante HA - 35 / B / 20 / XC4 + XF1 + XA1 con una cantidad de cemento de 350 kg/m3 y relación agua cemento =< 0.6, colocado con bomba en proyectos de edificación.
  query: Formigonament per a sostre nervat reticular amb formigó HA-25/F / 10 / I de consistència fluïda, grandària màxima del granulat 10 mm, amb >= 250 kg/m3 de ciment, apte per a classe d'exposició I, abocat amb cubilot	passage: Formigonament per a sostre nervat reticular amb formigó HA-25/F / 10 / I de consistència líquida, amb una mida màxima del granulat de 10 mm, que conté >= 250 kg/m3 de ciment, adequat per a classe d'exposició I, abocat mitjançant cubilot.	passage: Formigonament per a sostre pla amb formigó HA-30/F / 12 / I de consistència espessa, grandària màxima del granulat 20 mm, amb >= 300 kg/m3 de ciment, apte per a classe d'exposició II, abocat amb bomba de formigó.

• Loss: Matryoshka2dLoss with these parameters:
  json

  1{ 2 "loss": "MultipleNegativesRankingLoss", 3 "n_layers_per_step": 1, 4 "last_layer_weight": 1.0, 5 "prior_layers_weight": 1.0, 6 "kl_div_weight": 1.0, 7 "kl_temperature": 0.3, 8 "matryoshka_dims": [ 9 1024, 10 768, 11 512, 12 256 13 ], 14 "matryoshka_weights": [ 15 1, 16 1, 17 1, 18 1 19 ], 20 "n_dims_per_step": 1 21}

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 6
• per_device_eval_batch_size: 6
• learning_rate: 4e-05
• num_train_epochs: 10
• warmup_ratio: 0.1
• fp16: True
• optim: rmsprop
• batch_sampler: no_duplicates

All Hyperparameters

Training Logs

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.2.0
• Transformers: 4.44.2
• PyTorch: 2.4.1+cu121
• Accelerate: 0.34.2
• Datasets: 3.0.1
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

Matryoshka2dLoss

MatryoshkaLoss

MultipleNegativesRankingLoss