paraphrase-multilingual-MiniLM-L12-v2 fine-tuned on German mMARCO

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text
• Training Dataset:
  • csv
• Language: de
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'BertModel'})
  (1): Pooling({'embedding_dimension': 384, 'pooling_mode': 'mean', 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Information Retrieval

• Dataset: mmarco-de-dev
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

csv

• Dataset: csv
• Size: 532,751 training samples
• Columns: query and passage
• Approximate statistics based on the first 100 samples:

  	query	passage
  type	string	string
  modality	text	text
  details	min: 4 tokens mean: 11.54 tokens max: 44 tokens	min: 40 tokens mean: 92.6 tokens max: 228 tokens

• Samples:

  query	passage
  ) Welche unmittelbaren Auswirkungen hatte der Erfolg des Manhattan-Projekts?	Die Präsenz der Kommunikation unter wissenschaftlichen Köpfen war für den Erfolg des Manhattan-Projekts ebenso wichtig wie der wissenschaftliche Intellekt. Über der beeindruckenden Leistung der Atomforscher und -ingenieure schwebt nur, was ihr Erfolg wirklich bedeutete; Hunderttausende unschuldiger Leben ausgelöscht.
  Die _________ Gerechtigkeit dient dazu, den Schaden, der dem Opfer, der Gemeinschaft und dem Täter durch die Straftat des Täters entstanden ist, wiedergutzumachen. Frage 19 Optionen:	Der Ansatz basiert auf einer Gerechtigkeitstheorie, die Verbrechen und Fehlverhalten als eine Straftat gegen eine Person oder eine Gemeinschaft und nicht gegen den Staat betrachtet. Restorative Justice, die den Dialog zwischen Opfern und Tätern fördert, hat die höchsten Raten bei der Opferzufriedenheit und der Verantwortlichkeit des Täters gezeigt.
  welche farbe hat bernstein urin	Farbe Urin kann eine Vielzahl von Farben haben, meistens Gelbtöne, von sehr blass oder farblos bis sehr dunkel oder bernsteinfarben. Ungewöhnliche oder abnormale Urinfarben können das Ergebnis eines Krankheitsprozesses, mehrerer Medikamente (z. B. Multivitamine können den Urin hellgelb färben) oder das Ergebnis des Verzehrs bestimmter Lebensmittel sein.

• Loss: MultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false, 5 "directions": [ 6 "query_to_doc" 7 ], 8 "partition_mode": "joint", 9 "hardness_mode": null, 10 "hardness_strength": 0.0 11}

Evaluation Dataset

csv

• Dataset: csv
• Size: 5,000 evaluation samples
• Columns: query and passage
• Approximate statistics based on the first 100 samples:

  	query	passage
  type	string	string
  modality	text	text
  details	min: 4 tokens mean: 11.24 tokens max: 47 tokens	min: 19 tokens mean: 87.72 tokens max: 222 tokens

• Samples:

  query	passage
  Wie viele Jahre war William Bradford Gouverneur der Plymouth-Kolonie?	[object Object] William Bradford (c.1590 –) war ein englischer Separatistenführer in Leiden, Holland und in der Plymouth Colony war ein Unterzeichner des Mayflower Compact. Zwischen 1621 und 1657 diente er fünfmal als Gouverneur der Kolonie Plymouth, etwa dreißig Jahre lang.
  präventiv definieren	Adjektiv[Bearbeiten] präventiv âÂâ'¬Ã‚Ž (Vergleich präventiver, Superlativ am präventivsten) 1 Verhindern, behindern oder als Hindernis fungieren. Ausgeführt, um militärische Aggressionen abzuschrecken.
  Farbüberlagerung Photoshop	Photoshop: Farbüberlagerung. In meinem Tutorial zum Nachbessern bei Sonnenlicht habe ich Ihnen gezeigt, wie Sie Ihrem Foto einen Hauch von Farbe verleihen und ihm gleichzeitig einen zusätzlichen Schub verleihen. Manchmal kann ein Foto jedoch von ein wenig Farbe profitieren, aber es braucht diesen zusätzlichen Schub einfach nicht. Oder sogar eine kleine leichte Optimierung. Diese einfache Farbüberlagerung ist eine großartige Möglichkeit, einen Hauch von Farbe hinzuzufügen, ohne Ihr Foto aussehen zu lassen, als hätten Sie es bearbeitet. Oder um Schwarzweißfotos ein wenig Leben einzuhauchen. Hinweis: Dies funktioniert in Elements genauso wie in Photoshop.

• Loss: MultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false, 5 "directions": [ 6 "query_to_doc" 7 ], 8 "partition_mode": "joint", 9 "hardness_mode": null, 10 "hardness_strength": 0.0 11}

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 128
• num_train_epochs: 1
• learning_rate: 2e-05
• warmup_steps: 0.1
• weight_decay: 0.01
• bf16: True
• per_device_eval_batch_size: 128
• load_best_model_at_end: True
• seed: 12
• batch_sampler: no_duplicates

All Hyperparameters

Training Logs

Training Time

• Training: 21.7 minutes
• Evaluation: 1.2 minutes
• Total: 23.0 minutes

Framework Versions

• Python: 3.11.6
• Sentence Transformers: 5.5.0
• Transformers: 5.6.2
• PyTorch: 2.10.0+cu128
• Accelerate: 1.13.0.dev0
• Datasets: 4.8.4
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

MultipleNegativesRankingLoss