This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: intfloat/multilingual-e5-base
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 tokens
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'query: stasys šimkus paaiškinimas',
    'passage: stasys šimkus vasario motiškiuose seredžiaus valsčius rusijos imperija spalio kaune kompozitorius chorų organizatorius ir dirigentas muzikos publicistas folkloristas pedagogas ir muzikos visuomenininkas biografija vaizdas stasys šimkus with son algis jpeg thumb left px stasys šimkus su sūnumi algiu jav stasys šimkus su karine uniforma gimė mažažemių valstiečių šeimoje nuo muzikos mokėsi pas vietos vargonininką juozo naujalio vargonininkų ir dirigentų kursuose kaune dainavo mėgėjų choruose nuo metų vargonininkavo čiobiškyje krokialaukyje skirsnemunėje nuo dalyvavo lietuviškųjų vakarų veikloje organizavo chorus rengė koncertus užrašinėjo liaudies dainas mokėsi varšuvos muzikos instituto vargonų klasėje pas prof suržinskį vedė varšuvos lietuvių draugijos chorą stažavosi peterburgo vadovavo lietuvių chorams be studijų dėstė muziką šv kotrynos bažnyčios katalikų gimnazijoje kaip chormeisteris bendradarbiavo su česlovu sasnausku lietuvių draugijos nukentėjusiems dėl karo šelpti pasiųstas jav rinkti aukų organizavo lietuvių chorus rengė koncertus statė operetes jav miestuose leido žurnalą muzika grįžęs lietuvą dalyvavo lietuvių meno kūrėjų draugijos veikloje buvo jos valdybos pirmininkas studijavo kompoziciją leipcigo ir berlyno klaipėdoje įkūrė muzikos mokyklą joje dėstė ir buvo jos direktorius čia subūrė simfoninį orkestrą valstybės teatro dirigentas vytauto didžiojo universiteto mišraus choro vadovas ir švietimo ministerijos muzikos inspektorius šimkus daug prisidėjo prie pirmųjų lietuvos dainų švenčių rengimo buvo jų dirigentas nuo kauno profesorius palaidotas petrašiūnų kapinėse stasys šimkus buvo įdomi asmenybė didelio temperamento ūmus neišsenkamos energijos dažnai būdavo geros nuotaikos nekreipdavo dėmesio smulkmenas karštai griebdavosi',
    'passage: alma adamkienė vasario šiauliuose gegužės vilniuje lietuvių filantropė visuomenės veikėja lr prezidento valdo adamkaus žmona buvusi pirmoji šalies dama vaizdas alma adamkiene and laura bush jpg thumb left px alma adamkienė su laura buš knygos viršelis biografija adamkienės tėvas stasys nutautas buvo prekybininkas motina ona soblytė nutautienė talkino vyrui versle augo telšiuose tarybinei kariuomenei veržiantis lietuvą nutautų šeima sunkvežimiu išvyko šventają kur apsigyveno pas žvejį nuo kurios juos laivu išplaukė link švedijos bet nepasiekus kranto laivą sulaikė vokiečių kariai ir išplukdino rygą kur juos dviems savaitėms pasodino rygos kalėjimą iš ten juos nuplukdino prekybiniu laivu gdanską tada traukinius ir vokietiją pabėgėlių stovyklą alma adamkienė vokietijoje baigė eichšteto lietuvių gimnaziją ten susipažino su valdu adamkumi kur jis mokėsi lietuvių kalbos vėliau studijavo erlangeno universiteto filologijos fakultete bavarijoje adamkienės šeima persikėlė jungtines amerikos valstijas kur jos šeima turėjo giminių ilinojuje pati gyveno rokforde atvykusi jungtines amerikos valstijas alma adamkienė dirbo plieno gamyklos laboratorijoje laborante vėliau draudimo kompanijoje ištekėjo už valdo adamkaus nuo net dvidešimt penkerius metus ji vadovavo iš jav lietuvių bendruomenės aktyvisto juozo bačiūno įsigytai tabor farmos vasarvietei kuri tapo svarbiu lietuvybės centru čia daug metų vykdavo liberaliosios pakraipos lietuvių išeivių organizacijos santara šviesa suvažiavimai dar rudenį vykstant prezidento rinkimų kampanijai alma adamkienė nusprendė kad ir kaip baigtųsi rinkimai ji lietuvoje pradės labdaringą veiklą buvo įkurtas almos adamkienės labdaros ir paramos',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

Size: 199,992 training samples
Columns: sentence_0 and sentence_1
Approximate statistics based on the first 1000 samples:
sentence_0 sentence_1
type string string
details
min: 6 tokens
mean: 12.31 tokens
max: 35 tokens
min: 144 tokens
mean: 358.42 tokens
max: 512 tokens

Samples:

sentence_0	sentence_1
`query: fiziologija`	passage: vaizdas claude bernard and his pupils oil painting after léon augus wellcome jpg thumb upright paveiksle vaizduojamas klodas bernaras šiuolaikinės fiziologijos pradininkas su savo mokiniais fiziologija gamta ir λόγος lógos mokslas protas gr φυσιολογία mokslas tiriantis gyvųjų organizmų fizikines biochemines ir informacijos perdirbimo funkcijas tradiciškai fiziologijos mokslas skirstomas augalų fiziologiją ir gyvūnų fiziologiją tačiau fiziologijos principai yra tie patys visiems organizmams pvz žinios apie mielių ląsteles gali būti pritaikomos ir žmogaus ląstelėms normalioji fiziologija nagrinėja sveiko organizmo funkcijas jų reguliavimo mechanizmus norint suprasti gyvo organizmo funkcijas būtina išmanyti jo struktūrą sandarą todėl fiziologija glaudžiai siejasi su anatomija histologija biochemija biofizika fiziologija siejasi ir su kitais mokslais zoologija genetika matematika chemija fizika fiziologijos tyrimo objektas gyvas organizmas ar jo struktūrinės dalys organų sistemos organai audiniai ląstelės fiziologija padeda suprasti sveiko organizmo veiklą jo sugebėjimą prisitaikyti prie nuolat kintančios aplinkos nepakitus vidinės terpės sudėčiai fiziologija sudaro teorinį ir praktinį pagrindą nagrinėjant organizme vykstančius patologinius procesus sporto fiziologija tiria organizmo struktūrą bei funkcijų pokyčius veikiant fiziniams krūviams joje taikoma koncepcija kad veikiant fiziniams krūviams organizmas prie jų adaptuojasi sporto fiziologijos raida sporto fiziologija gana jaunas mokslas tik xix pabaigoje londone buvo išleistas pirmas fizinių pratimų vadovėlis kurio autorius la grange xx pradžioje šį mokslą toliau vystė chopkinas nustatęs ryšį tarp raumenų veiklos ir laktato kaupimosi dilas įkūrė laboratoriją nuovargio kilmei tirti po pirmojo
`query: gūšra apibrėžimas`	passage: gūšra dar žinoma kaip milvydo ežeras ežeras vakarų lietuvoje telšių rajone apie km šiaurės rytus nuo varnių km rytus nuo janapolės varnių regioniniame parke ežeras ovalios formos ilgis iš šiaurės pietus km plotis km altitudė giliausia vieta ežeras telkšo ištirpusio ledo luisto suformuotame duburyje krantai žemi vakarinis krantas plačiai užpelkėjęs apaugęs mišku pietuose įteka bevardis upelis vakaruose netoliese tekančią virvytę išteka druja ežeras yra drujos draustinyje prie gūšros rasta neolito gyvenviečių pėdsakų šalia įsikūrę milvydiškių ir lenkalių kaimai šaltiniai kategorija telšių rajono ežerai
`query: get apibrėžimas`	passage: getas dgs gittim gittin žydų skyrybų raštas kurį žydas išduoda žydei nutraukiant vedybas pagrindinis rašto tekstas nuo dabar tu gali bendrauti su visais vyrais kitaip sakant tu nebesi ištekėjusi moteris ir tau paleistuvavimą draudžiantys įstatymai daugiau nebegalioja geto skyrybų raštas taip pat sugrąžina moteriai visas buvusias teises kurias ji turėjo prieš ištekėdama būtini reikalavimai getui getas skyrybų raštas privalo būti parašytas tik pas judaizmo soferį tam turi būti gautas judėjo vyro sutikimas žydei žmonai draudžiama skirtis getas turi būti parašytas ant tokio poperiaus kurio turinio nebūtų galima ištrinti arba taisyti geto data turi atitikti skyrybų rašto sudarymo datą bet koks geto taisyklių pažeidimas panaikina skyrybų procedūrą nuorodos skyrybos judėjiškai skyrybų raštas kategorija judaizmas

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 12
per_device_eval_batch_size: 12
num_train_epochs: 1
multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 12
per_device_eval_batch_size: 12
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.0
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
batch_sampler: batch_sampler
multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss
0.0300	500	0.3228
0.0600	1000	0.0094
0.0900	1500	0.009
0.1200	2000	0.0037
0.1500	2500	0.005
0.1800	3000	0.0041
0.2100	3500	0.0034
0.2400	4000	0.0052
0.2700	4500	0.0036
0.3000	5000	0.0015
0.3300	5500	0.0009
0.3600	6000	0.0017
0.3900	6500	0.0023
0.4200	7000	0.002
0.4500	7500	0.0023
0.4800	8000	0.0017
0.5100	8500	0.0018
0.5400	9000	0.0018
0.5700	9500	0.0023
0.6000	10000	0.0019
0.6300	10500	0.0016
0.6600	11000	0.0007
0.6900	11500	0.0005
0.7200	12000	0.0012
0.7500	12500	0.0003
0.7800	13000	0.0007
0.8100	13500	0.0013
0.8400	14000	0.0007
0.8700	14500	0.0004
0.9000	15000	0.0002
0.9300	15500	0.0012
0.9600	16000	0.0004
0.9900	16500	0.0006

Framework Versions

Python: 3.12.9
Sentence Transformers: 3.0.1
Transformers: 4.41.2
PyTorch: 2.9.1+cu128
Accelerate: 0.31.0
Datasets: 4.4.2
Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss