Multilingual E5 Large trained with triplet loss

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity
• Training Dataset:
  • csv
• Language: multilingual
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Triplet

• Dataset: validation-set
• Evaluated with TripletEvaluator

Triplet

• Dataset: test-set
• Evaluated with TripletEvaluator

Training Details

Training Dataset

csv

• Dataset: csv
• Size: 5,295 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 18 tokens mean: 112.92 tokens max: 316 tokens	min: 21 tokens mean: 111.39 tokens max: 304 tokens	min: 19 tokens mean: 104.94 tokens max: 309 tokens

• Samples:

  anchor	positive	negative
  query: Revestiment vertical amb perfil ondulat de planxa d'alumini anoditzat i lacat, a 3,00 m d'alçària, com a màxim, amb ones cada 120 mm, de 30 mm d'alçària i 1 mm de gruix, amb una inèrcia entre 12,5 i 13 cm4 i una massa superficial entre 3 i 3,5 kg/m2, acabat perforat amb un coeficient de perforació de l'11% color especial, col·locat amb fixacions mecàniques	passage: Revestiment vertical amb panells ondulats d'alumini anoditzat i pintat, a una alçada màxima de 3,00 m, amb ones de 120 mm de separació, 30 mm d'alçària i 1 mm de gruix, amb una inèrcia d'entre 12,5 i 13 cm4 i una massa superficial de 3 a 3,5 kg/m2, acabat amb perforacions que tenen un coeficient de perforació del 11% en un color especial, instal·lat amb fixacions mecàniques.	passage: Revestiment vertical amb panells llisos de planxa d'acer galvanitzat, a 2,50 m d'alçària, amb un acabat llis de 1,5 mm de gruix, amb una inèrcia entre 10 i 11 cm4 i una massa superficial entre 4 i 4,5 kg/m2, acabat pintat amb un color estàndard, col·locat amb adhesius.
  query: Canal d'acer galvanitzat de tipus reixa amb pendent, sortida lliure, horitzontal, d'1,5 mm de gruix, de <= 100 mm d'amplària, de 100 a 200 mm d'alçària, per a una càrrega classe M 125, col.locada, en entorn urbà sense dificultat de mobilitat, en voreres > 5 m d'amplària o calçada/plataforma única > 12 m d'amplària, sense afectació per serveis o elements de mobiliari urbà, en actuacions de més de 5 u	passage: Canal de metall galvanitzat de tipus reixa amb inclinació, sortida lliure, horitzontal, de 1,5 mm de gruix, amb amplada de fins a 100 mm i alçària entre 100 i 200 mm, dissenyat per suportar càrregues de classe M 125, instal·lat en zones urbanes amb bona accessibilitat, en voreres de més de 5 m d'amplada o calçades/plataformes úniques de més de 12 m d'amplada, sense interferències amb serveis o elements de mobiliari urbà, en projectes de més de 5 unitats.	passage: Canal de plàstic reforçat de tipus tubular amb pendent, sortida controlada, vertical, de 2 mm de gruix, de <= 150 mm d'amplària, de 200 a 300 mm d'alçària, per a una càrrega classe L 150, instal·lada, en entorn rural amb dificultat de mobilitat, en camins < 3 m d'amplària o carretera secundària < 10 m d'amplària, amb afectació per serveis o elements de mobiliari rural, en actuacions de menys de 3 u.
  query: Formigonament de sostre nervat reticular amb formigó per armar, amb 20% de granulats de material reciclat de formigons, amb additiu hidròfug HRA - 25 / F / 20 / XC2 amb una quantitat de ciment de 275 kg/m3 i relació aigua ciment =< 0.6, abocat amb cubilot	passage: Formigonament de sostre reticular nervat amb formigó armat, incorporant un 20% de granulats reciclats de formigó, utilitzant un additiu hidrofug HRA - 25 / F / 20 / XC2, amb una dosi de ciment de 275 kg/m3 i una relació aigua-ciment ≤ 0.6, realitzat mitjançant cubilot.	passage: Formigonament de sostre pla amb formigó convencional, amb 30% de granulats naturals, sense additius especials, amb una quantitat de ciment de 300 kg/m3 i relació aigua ciment =< 0.5, abocat amb bomba de formigó.

• Loss: MatryoshkaLoss with these parameters:
  json

  1{ 2 "loss": "TripletLoss", 3 "matryoshka_dims": [ 4 1024, 5 768, 6 512, 7 256, 8 128, 9 64 10 ], 11 "matryoshka_weights": [ 12 1, 13 1, 14 1, 15 1, 16 1, 17 1 18 ], 19 "n_dims_per_step": -1 20}

Evaluation Dataset

csv

• Dataset: csv
• Size: 5,295 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 34 tokens mean: 113.71 tokens max: 312 tokens	min: 34 tokens mean: 111.57 tokens max: 298 tokens	min: 34 tokens mean: 104.4 tokens max: 300 tokens

• Samples:

  anchor	positive	negative
  query: Interruptor de tipus modular de 2 mòduls estrets, bipolar (2P), 16 A/250 V, amb tecla i làmpada pilot, preu mitjà, encastat, amb marc amb bastidor per a l'adaptació de mecanismes modulars a caixa rectangular de 2 mòduls de preu mitjà, tub flexible corrugat de PVC folrat exteriorment, caixa de derivació rectangular i conductor de coure de designació H07V-U	passage: Interruptor modular de 2 mòduls estrets, bipolar (2P), 16 A/250 V, amb tecla i llum indicadora, preu mitjà, instal·lat en superfície, amb marc per adaptar mecanismes modulars a una caixa rectangular de 2 mòduls de preu mitjà, tub flexible de PVC corrugat, caixa de connexions rectangular i cable de coure H07V-U.	passage: Interruptor de tipus estàndard de 3 mòduls amplis, unipolar (1P), 10 A/230 V, sense tecla ni làmpada pilot, preu elevat, superficial, amb marc per a la instal·lació de mecanismes estàndard a caixa quadrada de 3 mòduls de preu elevat, tub rígid de PVC, caixa de connexió quadrada i conductor de coure de designació H05V-U.
  query: Tanca de vímet de qualitat extra nacional, de 100 cm d'alçària, col·locada amb grapes sobre tanca existent accessible des del terra, en entorn urbà amb dificultat de mobilitat, en voreres > 3 i <= 5 m d'amplària o calçada/plataforma única > 7 i <= 12 m d'amplària, amb afectació per serveis o elements de mobiliari urbà, en actuacions d'1 a 10 m	passage: Tanca de vímet de primera qualitat nacional, de 100 cm d'alçada, instal·lada amb grapes sobre una tanca ja existent accessible des del sòl, en un entorn urbà amb dificultats de mobilitat, en voreres d'entre 3 i 5 m d'amplada o calçada/plataforma única d'entre 7 i 12 m d'amplada, amb afectació per serveis o elements de mobiliari urbà, en actuacions d'entre 1 i 10 m.	passage: Tanca de vímet de qualitat estàndard local, de 80 cm d'alçària, instal·lada amb cargols sobre tanca nova accessible des de la carretera, en entorn rural sense dificultat de mobilitat, en voreres > 2 i <= 4 m d'amplària o calçada/plataforma única > 5 i <= 10 m d'amplària, sense afectació per serveis o elements de mobiliari urbà, en actuacions de 5 a 15 m.
  query: Formigonament per a enceps, amb formigó per armar HA - 35 / F / 10 / XC4 + XS1 amb una quantitat de ciment de 350 kg/m3 i relació aigua ciment =< 0.5, abocat des de camió en obres d'edificació	passage: Formigonament per a fonaments, utilitzant formigó HA - 35 / F / 10 / XC4 + XS1 amb una dosi de ciment de 350 kg/m3 i una relació aigua-ciment ≤ 0.5, abocat directament des de camió en projectes de construcció.	passage: Formigonament per a fonaments, amb formigó per armar HA - 30 / F / 8 / XC3 + XS2 amb una quantitat de ciment de 300 kg/m3 i relació aigua ciment =< 0.6, abocat manualment en obres de rehabilitació.

• Loss: MatryoshkaLoss with these parameters:
  json

  1{ 2 "loss": "TripletLoss", 3 "matryoshka_dims": [ 4 1024, 5 768, 6 512, 7 256, 8 128, 9 64 10 ], 11 "matryoshka_weights": [ 12 1, 13 1, 14 1, 15 1, 16 1, 17 1 18 ], 19 "n_dims_per_step": -1 20}

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 6
• per_device_eval_batch_size: 6
• learning_rate: 2e-05
• num_train_epochs: 10
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Training Logs

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.2.0
• Transformers: 4.44.2
• PyTorch: 2.4.1+cu121
• Accelerate: 0.34.2
• Datasets: 3.0.1
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

MatryoshkaLoss

TripletLoss