This is a sentence-transformers model finetuned from sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
Maximum Sequence Length: 128 tokens
Output Dimensionality: 384 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("gmunkhtur/finetuned_paraphrase-multilingual")
# Run inference
sentences = [
    'Энэ нийтлэлээс та юу ойлгож авсан бэ?',
    'news: Нобелийн уран зохиолын шагналтан Элис Мунро "Чи чинь ингэхэд хэн сэн билээ?" Уран зохиолын Нобелийн шагнал ухаарал төрүүлсэн, энгийн, уянгын\xa0 өгүүллэгүүдэд очлоо. Тэр нь өдөөн хатгалт уу эсвэл хүний ердийн амьдралыг сануулсан хэрэг үү? хэмээн РИА Новости агентлагийн улс төрийн тоймч Дмитрий Косырев бичжээ. Фото: AFP 2013/ Peter Muhly РИА Новости агентлагийн улс төрийн тоймч Дмитрий Косырев Нобелийн уран зохиолын шагналтан болон шагналын хорооны талаар бичжээ. "Чи чинь ингэхэд хэн сэн билээ?"\xa0 Дөнгөж сая 2013 оны уран зохиолын Нобелийн шагналын эзэн болсон Канадын зохиолч эмэгтэй Элис Мунрогийн өгүүллэгийн нэр юм л даа. Зураглалаа номын дэлгүүрээс үргэлжлүүлье. Уран зохиолд хамаатай Нобелийн хорооны мэдээг тэндээс өөр хаанаас авах билээ? Мэдээж, номын дэлгүүрт. Энэ бол дэлхийн аваргын ямар нэгэн тэмцээний шигшээг спорт-бааранд үзэхтэй адил зүйл билээ. Хөөрөл, хүлээлт, ялагчийг зарласны дараах агшин... Тийм зохиолч гэж байхгүй Ингээд, Москвагийн шилдэг хоёр номын дэлгүүрийн нэгээр',
    'өнгийн пүүзтэй ямарч өнгийн оймс зохицоно. Пиджакан хослолын доор цагаан өнгийн пүүз өмсөхдөө саарал, хар өнгийн болон саармаг өнгийн оймс өмсвөл илүү зохимжтой. Тод өнгийн өмдөн доор цагаан өнгийн пүүз өмсөхдөө өмднөөсөө илүү тод өнгийн оймсыг өмсөөрэй. Өнгөлөг өнгийн пүүзэнд адилхан өнгийн оймс эсвэл өмсөж буй өмднийхөө өнгөтэй оймс илүү зохино. Ингэхдээ өмднийхөө түрүүг тойгныхоо яс хүртэл нугалж өмсөөрэй. Бүх гутлын оймстой өмсдөг биш бөгөөд зарим нэг гутал оймсгүй өмсвөл илүү гоё харагддаг. \xa0 Slip On Үдээс болон товч байхгүй Slip On гутлыг оймсгүй өмсөхгүйгээр хөлнийхөө ясыг хагадуулж өмсвөл илүү өндөр, зохимжтой харагдуулна. \xa0 Boat Shoes Boat Shoes ч бас оймс өмсөхгүй өмсөөрэй. Дээрээ баантаглаж үдсэн арьсаар хийсэн энэхүү гуталны загвар өөрөө өвөрмөц тул заавал оймс өмсөх шаардлагагүй. Б.СОНИНБИЛЭГ',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.3078
cosine_accuracy@3	0.5128
cosine_accuracy@5	0.6032
cosine_accuracy@10	0.7329
cosine_precision@1	0.3078
cosine_precision@3	0.1709
cosine_precision@5	0.1206
cosine_precision@10	0.0733
cosine_recall@1	0.3078
cosine_recall@3	0.5128
cosine_recall@5	0.6032
cosine_recall@10	0.7329
cosine_ndcg@10	0.5058
cosine_mrr@10	0.4349
cosine_map@100	0.4462

Training Details

Training Dataset

Unnamed Dataset

Size: 19,689 training samples
Columns: sentence_0 and sentence_1
Approximate statistics based on the first 1000 samples:
sentence_0 sentence_1
type string string
details
min: 8 tokens
mean: 17.93 tokens
max: 43 tokens
min: 41 tokens
mean: 124.86 tokens
max: 128 tokens

Samples:

sentence_0	sentence_1
`"Юрийн галавын үе" киноны амжилтыг юугаар тайлбарлах вэ?`	news: Киноны кадраас «Юрийн галавын үе» кино прокатад тавигдсныхаа дараах эхний амралтын өдрөөр хамгийн их орлого оллоо гэж Business Insider хэвлэл мэдээлэв. Хойд Америкт л гэхэд эхний амралтын өдрүүдэд 204,6 сая доллар цуглуулж чадлаа. Гадаад орнуудын үзүүлэлт нь 307,2 сая ам.доллар байв. Нийт кассын орлого 511,8 сая ам.доллар болжээ. Энэхүү үзүүлэлт нь Universal кино компанийн дээд амжилт төдийгүй дэлхийн кино аж үйлдвэрийн томоохон үсрэлт боллоо. Үүнээс өмнө амралтын эхний өдрүүдэд 500 сая долларын босго давсан их мөнгө цуглуулж байсан түүх байхгүй. «Гарри Поттер ба үхлийн тахил: II хэсэг» 483 сая долларын орлого олсноороо хоёрдугаарт явж байна. Universal компанийн дөрөвдүгээр сард гаргасан «Галзуу хурд 7» кино харин эхний амралтын өдрүүдэд 147 сая доллар цуглуулсан юм. Эхний амралтын өдрүүдийн орлого нь кино бизнесийн чухал үзүүлэлт бөгөөд тэр үзүүлэлтээр киноны прокатын хувь заяа шалтгаалдаг. Бэлтгэсэн Ш.МЯГМАР
`Энэ киноны амжилт дэлхийн кино үйлдвэрт ямар нөлөө үзүүлэх вэ?`	news: Киноны кадраас «Юрийн галавын үе» кино прокатад тавигдсныхаа дараах эхний амралтын өдрөөр хамгийн их орлого оллоо гэж Business Insider хэвлэл мэдээлэв. Хойд Америкт л гэхэд эхний амралтын өдрүүдэд 204,6 сая доллар цуглуулж чадлаа. Гадаад орнуудын үзүүлэлт нь 307,2 сая ам.доллар байв. Нийт кассын орлого 511,8 сая ам.доллар болжээ. Энэхүү үзүүлэлт нь Universal кино компанийн дээд амжилт төдийгүй дэлхийн кино аж үйлдвэрийн томоохон үсрэлт боллоо. Үүнээс өмнө амралтын эхний өдрүүдэд 500 сая долларын босго давсан их мөнгө цуглуулж байсан түүх байхгүй. «Гарри Поттер ба үхлийн тахил: II хэсэг» 483 сая долларын орлого олсноороо хоёрдугаарт явж байна. Universal компанийн дөрөвдүгээр сард гаргасан «Галзуу хурд 7» кино харин эхний амралтын өдрүүдэд 147 сая доллар цуглуулсан юм. Эхний амралтын өдрүүдийн орлого нь кино бизнесийн чухал үзүүлэлт бөгөөд тэр үзүүлэлтээр киноны прокатын хувь заяа шалтгаалдаг. Бэлтгэсэн Ш.МЯГМАР
`Киноны эхний амралтын өдрүүдийн орлого яагаад ийм чухал вэ?`	news: Киноны кадраас «Юрийн галавын үе» кино прокатад тавигдсныхаа дараах эхний амралтын өдрөөр хамгийн их орлого оллоо гэж Business Insider хэвлэл мэдээлэв. Хойд Америкт л гэхэд эхний амралтын өдрүүдэд 204,6 сая доллар цуглуулж чадлаа. Гадаад орнуудын үзүүлэлт нь 307,2 сая ам.доллар байв. Нийт кассын орлого 511,8 сая ам.доллар болжээ. Энэхүү үзүүлэлт нь Universal кино компанийн дээд амжилт төдийгүй дэлхийн кино аж үйлдвэрийн томоохон үсрэлт боллоо. Үүнээс өмнө амралтын эхний өдрүүдэд 500 сая долларын босго давсан их мөнгө цуглуулж байсан түүх байхгүй. «Гарри Поттер ба үхлийн тахил: II хэсэг» 483 сая долларын орлого олсноороо хоёрдугаарт явж байна. Universal компанийн дөрөвдүгээр сард гаргасан «Галзуу хурд 7» кино харин эхний амралтын өдрүүдэд 147 сая доллар цуглуулсан юм. Эхний амралтын өдрүүдийн орлого нь кино бизнесийн чухал үзүүлэлт бөгөөд тэр үзүүлэлтээр киноны прокатын хувь заяа шалтгаалдаг. Бэлтгэсэн Ш.МЯГМАР

Loss: MatryoshkaLoss with these parameters:
json
1{ 2 "loss": "MultipleNegativesRankingLoss", 3 "matryoshka_dims": [ 4 384, 5 256, 6 128, 7 64, 8 32 9 ], 10 "matryoshka_weights": [ 11 1, 12 1, 13 1, 14 1, 15 1 16 ], 17 "n_dims_per_step": -1 18}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 20
per_device_eval_batch_size: 20
num_train_epochs: 5
multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 20
per_device_eval_batch_size: 20
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1
num_train_epochs: 5
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.0
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss	cosine_ndcg@10
0.0508	50	-	0.4036
0.1015	100	-	0.4184
0.1523	150	-	0.4351
0.2030	200	-	0.4522
0.2538	250	-	0.4655
0.3046	300	-	0.4765
0.3553	350	-	0.4813
0.4061	400	-	0.4846
0.4569	450	-	0.4891
0.5076	500	9.2182	0.4889
0.5584	550	-	0.4849
0.6091	600	-	0.4872
0.6599	650	-	0.4968
0.7107	700	-	0.4918
0.7614	750	-	0.4893
0.8122	800	-	0.4887
0.8629	850	-	0.4872
0.9137	900	-	0.4915
0.9645	950	-	0.4894
1.0	985	-	0.4954
1.0152	1000	5.9875	0.4943
1.0660	1050	-	0.4911
1.1168	1100	-	0.4919
1.1675	1150	-	0.4973
1.2183	1200	-	0.4885
1.2690	1250	-	0.4876
1.3198	1300	-	0.4865
1.3706	1350	-	0.4936
1.4213	1400	-	0.4917
1.4721	1450	-	0.4981
1.5228	1500	4.5015	0.5006
1.5736	1550	-	0.4925
1.6244	1600	-	0.4956
1.6751	1650	-	0.4944
1.7259	1700	-	0.4978
1.7766	1750	-	0.4936
1.8274	1800	-	0.4967
1.8782	1850	-	0.4946
1.9289	1900	-	0.4971
1.9797	1950	-	0.4933
2.0	1970	-	0.4950
2.0305	2000	4.1506	0.4998
2.0812	2050	-	0.4998
2.1320	2100	-	0.4945
2.1827	2150	-	0.4972
2.2335	2200	-	0.4964
2.2843	2250	-	0.4906
2.3350	2300	-	0.4938
2.3858	2350	-	0.4955
2.4365	2400	-	0.4940
2.4873	2450	-	0.4956
2.5381	2500	3.2896	0.4964
2.5888	2550	-	0.4965
2.6396	2600	-	0.5000
2.6904	2650	-	0.4979
2.7411	2700	-	0.5002
2.7919	2750	-	0.4992
2.8426	2800	-	0.5000
2.8934	2850	-	0.5001
2.9442	2900	-	0.5058

Framework Versions

Python: 3.10.12
Sentence Transformers: 3.3.1
Transformers: 4.47.1
PyTorch: 2.5.1+cu121
Accelerate: 1.2.1
Datasets: 3.2.0
Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

bibtex

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

bibtex

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

	sentence_0	sentence_1
type	string	string
details	min: 8 tokens mean: 17.93 tokens max: 43 tokens	min: 41 tokens mean: 124.86 tokens max: 128 tokens