This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base on the quati and msmarco datasets. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: intfloat/multilingual-e5-base
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Training Datasets:
- quati
- msmarco
Language: pt

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("nskwal/mrayumi-base-3e")
# Run inference
sentences = [
    'para que serve a azitromicina',
    'Infecções bacterianas. A azitromicina é mais comumente usada para tratar as seguintes infecções: 1 Infecções respiratórias, como bronquite. 2 Infecções de ouvido (otite média). 3 infecções sinusais (sinusite). 4 Pneumonia. 5 Infecções da garganta (amigdalite / faringite). 6 Infecções da pele, como celulite, foliculite ou impetigo.',
    'A azitromicina também pode ser usada para tratar várias outras infecções bacterianas mais incomuns. A azitromicina não é eficaz contra nenhuma infecção causada por um vírus, como gripe, gastroenterite ou resfriado comum.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Datasets

quati

Dataset: quati
Size: 1,415 training samples
Columns: query and passage
Approximate statistics based on the first 1000 samples:
query passage
type string string
details
min: 8 tokens
mean: 12.57 tokens
max: 21 tokens
min: 65 tokens
mean: 267.65 tokens
max: 412 tokens

Samples:

query	passage
`"O que são os celulares ""mid-range""?"`	Câmeras traseiras: 64 MP quad-pixel + 12 MP (ultra-wide) + 5 MP (macro) + 5 MP (sensor de profundidade) Filma em: 4K Câmera frontal: 32 MP Bateria: 4.500 mAh com carregamento turbo de 25W Tem conexão 3G e 4G Pontos positivos: Tela grande com resolução Full HD 128 GB de armazenamento é um bom espaço Câmera de 64 MP que filma em 4K Câmera frontal também filma em 4K Processador potente para uso no dia a dia Pontos negativos: Bateria com tamanho abaixo dos concorrentes Sem proteção contra água Melhor Preço Conclusões Como dito no começo da matéria o mercado de celulares está crescendo exponencialmente e isso faz com que estejam disponíveis vários modelos no mercado, para os mais diferentes gostos. Nem todo mundo precisa ou está disposto a pagar pelos melhores celulares e é onde entram os modelos citados nesta lista: Um bom celular por um preço mediano. Para um uso comum estes modelos atendem muito bem. Se você sentiu falta de alguma opção nesta lista deixe ai nos comentários. Vale lembrar ...
`"O que são os celulares ""mid-range""?"`	Smartphone Motorola Moto G8 Plus Imagem Celular Intermediário Detalhes Smartphone Xiaomi Redmi Note 8 Pro Melhor celular intermediário, processador rápido Smartphone Xiaomi Redmi Note 8 Melhor celular intermediário custo benefício, câmera quádrupla Smartphone Motorola One Action Sensor exclusivo para vídeo Smartphone Huawei P30 Lite Diversas tecnologias diferenciadas Smartphone Samsung Galaxy A50 Câmera frontal de 25 MP Smartphone Samsung Galaxy A30s Leitor de impressão digital embutido na tela Smartphone Motorola Moto G8 Plus Design moderno e bonito Hoje em dia os smartphones são verdadeiros aliados. Apenas com eles é possível executar uma grande quantidade de tarefas como ligações, mensagens, acesso a e-mail e redes sociais e muito mais. Mas para conseguir isso é importante ter em mãos um aparelho que reúna componentes de qualidade, tal como, boa câmera, ótimo espaço de armazenamento e processador ágil. Pensando nisso, selecionamos os modelos de celular intermediário que englobam as ...
`"O que são os celulares ""mid-range""?"`	Os monócitos, eosinófilos, basófilos e seus progenitores circulam no sangue em pequenas quantidades, no entanto, essas células são muitas vezes combinados em um grupo que é designado como MXD ou MID. Este grupo pode ser expressa como uma percentagem do número total de leucócitos (MXD%), ou um número absoluto (MXD #, # MID). Estes tipos de células do sangue e as células brancas do sangue e são funções importantes (a luta contra parasitas, bactérias, reacções alérgicas, etc.). Absoluta e percentagem deste valor aumenta se o aumento do número de um dos tipos de células na sua composição. Para determinar a natureza da alteração geralmente é estudar a percentagem de cada tipo de célula (monócitos, eosinófilos, basófilos e os seus precursores). Requisitos: eosinófilos reduzidos e aumento no sangue # MID (MID, MXD #) 0,2-0,8 x 109 / l MID% (MXD%) 5 - 10% O número de granulócitos (GRA, GRAN) Granulócitos - são leucócitos que contêm grânulos (leucócitos granulares). Granulócitos 3 tipos de célu...

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

msmarco

Dataset: msmarco
Size: 39,780,811 training samples
Columns: query, positive, and negative
Approximate statistics based on the first 1000 samples:
query positive negative
type string string string
details
min: 4 tokens
mean: 11.4 tokens
max: 32 tokens
min: 14 tokens
mean: 102.05 tokens
max: 401 tokens
min: 30 tokens
mean: 91.92 tokens
max: 470 tokens

Samples:

query	positive	negative
`é um pouco de cafeína ok durante a gravidez`	`Não sabemos muito sobre os efeitos da cafeína durante a gravidez sobre você e seu bebê. Portanto, é melhor limitar a quantidade que você recebe a cada dia. Se você estiver grávida, limite a cafeína a 200 miligramas por dia. Isso é aproximadamente a quantidade em 1 x 8 onças de café ou uma xícara de 12 onças de café.`	`Em geral, é seguro para mulheres grávidas comer chocolate porque estudos demonstraram alguns benefícios de comer chocolate durante a gravidez. No entanto, as mulheres grávidas devem garantir que a ingestão de cafeína seja inferior a 200 mg por dia.`
`que fruta é nativa da Austrália`	Passiflora herbertiana. Um raro maracujá nativo da Austrália. Os frutos são de casca verde, polpa branca, com uma classificação comestível desconhecida. Algumas fontes listam as frutas como comestíveis, doces e saborosas, enquanto outras listam as frutas como sendo amargas e não comestíveis.assiflora herbertiana. Um raro maracujá nativo da Austrália. Os frutos são de casca verde, polpa branca, com uma classificação comestível desconhecida. Algumas fontes listam as frutas como comestíveis, doces e saborosas, enquanto outras listam as frutas como amargas e não comestíveis.	`A noz de cola é o fruto da árvore da cola, um gênero (Cola) de árvores que são nativas das florestas tropicais da África.`
`quão grande é o exército canadense`	`As Forças Armadas canadenses. 1 A primeira missão de manutenção da paz canadense em grande escala começou no Egito em 24 de novembro de 1956. 2 Há aproximadamente 65.000 membros da Força Regular e 25.000 membros reservistas nas forças armadas canadenses. 3 No Canadá, o dia 9 de agosto é designado como Dia Nacional dos Pacificadores.`	`O Canadian Physician Health Institute (CPHI) é um programa nacional criado em 2012 como uma colaboração entre a Canadian Medical Association (CMA), a Canadian Medical Foundation (CMF) e as Provincial and Territorial Medical Associations (PTMAs).`

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 128
per_device_eval_batch_size: 128
gradient_accumulation_steps: 2
learning_rate: 2e-05
weight_decay: 0.01
warmup_ratio: 0.05
fp16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 128
per_device_eval_batch_size: 128
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 2
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.01
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 3
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.05
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: True
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
tp_size: 0
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0051	100	6.6139
0.0103	200	3.3742
0.0154	300	0.6789
0.0206	400	0.3686
0.0257	500	0.3366
0.0309	600	0.3183
0.0360	700	0.3071
0.0412	800	0.295
0.0463	900	0.2863
0.0515	1000	0.2771
0.0566	1100	0.2693
0.0618	1200	0.2587
0.0669	1300	0.2539
0.0721	1400	0.2459
0.0772	1500	0.2393
0.0824	1600	0.2312
0.0875	1700	0.2269
0.0927	1800	0.217
0.0978	1900	0.2103
0.1030	2000	0.2089
0.1081	2100	0.1999
0.1133	2200	0.1961
0.1184	2300	0.1901
0.1236	2400	0.1847
0.1287	2500	0.1798
0.1339	2600	0.1764
0.1390	2700	0.1703
0.1441	2800	0.1637
0.1493	2900	0.1599
0.1544	3000	0.158
0.1596	3100	0.152
0.1647	3200	0.1506
0.1699	3300	0.1478
0.1750	3400	0.1431
0.1802	3500	0.1417
0.1853	3600	0.1368
0.1905	3700	0.1349
0.1956	3800	0.1327
0.2008	3900	0.129
0.2059	4000	0.1287
0.2111	4100	0.1257
0.2162	4200	0.1236
0.2214	4300	0.1222
0.2265	4400	0.118
0.2317	4500	0.1181
0.2368	4600	0.1152
0.2420	4700	0.1154
0.2471	4800	0.1102
0.2523	4900	0.1099
0.2574	5000	0.1101
0.2626	5100	0.1064
0.2677	5200	0.107
0.2729	5300	0.1043
0.2780	5400	0.103
0.2831	5500	0.1006
0.2883	5600	0.0995
0.2934	5700	0.0983
0.2986	5800	0.0978
0.3037	5900	0.0969
0.3089	6000	0.0957
0.3140	6100	0.0971
0.3192	6200	0.0941
0.3243	6300	0.0928
0.3295	6400	0.0939
0.3346	6500	0.0904
0.3398	6600	0.0899
0.3449	6700	0.0916
0.3501	6800	0.0885
0.3552	6900	0.0881
0.3604	7000	0.088
0.3655	7100	0.0873
0.3707	7200	0.0866
0.3758	7300	0.0844
0.3810	7400	0.085
0.3861	7500	0.0829
0.3913	7600	0.0819
0.3964	7700	0.0812
0.4016	7800	0.079
0.4067	7900	0.0808
0.4119	8000	0.0803
0.4170	8100	0.0798
0.4221	8200	0.0789
0.4273	8300	0.0772
0.4324	8400	0.0772
0.4376	8500	0.0755
0.4427	8600	0.0751
0.4479	8700	0.0751
0.4530	8800	0.0734
0.4582	8900	0.0735
0.4633	9000	0.0732
0.4685	9100	0.0732
0.4736	9200	0.0726
0.4788	9300	0.0715
0.4839	9400	0.0722
0.4891	9500	0.0721
0.4942	9600	0.0701
0.4994	9700	0.0696
0.5045	9800	0.0707
0.5097	9900	0.0702
0.5148	10000	0.0702
0.5200	10100	0.0686
0.5251	10200	0.0685
0.5303	10300	0.0663
0.5354	10400	0.0667
0.5406	10500	0.0658
0.5457	10600	0.0654
0.5509	10700	0.0664
0.5560	10800	0.065
0.5611	10900	0.0647
0.5663	11000	0.0651
0.5714	11100	0.0656
0.5766	11200	0.0632
0.5817	11300	0.0642
0.5869	11400	0.0638
0.5920	11500	0.0622
0.5972	11600	0.0626
0.6023	11700	0.0621
0.6075	11800	0.0614
0.6126	11900	0.062
0.6178	12000	0.0606
0.6229	12100	0.0618
0.6281	12200	0.0611
0.6332	12300	0.0582
0.6384	12400	0.0598
0.6435	12500	0.0591
0.6487	12600	0.0585
0.6538	12700	0.0582
0.6590	12800	0.0578
0.6641	12900	0.0577
0.6693	13000	0.0581
0.6744	13100	0.058
0.6796	13200	0.0559
0.6847	13300	0.0563
0.6899	13400	0.0567
0.6950	13500	0.0563
0.7001	13600	0.0563
0.7053	13700	0.0542
0.7104	13800	0.0552
0.7156	13900	0.0556
0.7207	14000	0.055
0.7259	14100	0.0542
0.7310	14200	0.0539
0.7362	14300	0.0537
0.7413	14400	0.0541
0.7465	14500	0.0527
0.7516	14600	0.0526
0.7568	14700	0.0545
0.7619	14800	0.053
0.7671	14900	0.0541
0.7722	15000	0.0527
0.7774	15100	0.0526
0.7825	15200	0.0523
0.7877	15300	0.0521
0.7928	15400	0.0509
0.7980	15500	0.0512
0.8031	15600	0.0508
0.8083	15700	0.0507
0.8134	15800	0.0495
0.8186	15900	0.0503
0.8237	16000	0.0499
0.8289	16100	0.0504
0.8340	16200	0.0498
0.8391	16300	0.0506
0.8443	16400	0.0501
0.8494	16500	0.0489
0.8546	16600	0.0483
0.8597	16700	0.0489
0.8649	16800	0.0485
0.8700	16900	0.0476
0.8752	17000	0.0491
0.8803	17100	0.0473
0.8855	17200	0.0476
0.8906	17300	0.0476
0.8958	17400	0.047
0.9009	17500	0.047
0.9061	17600	0.0473
0.9112	17700	0.045
0.9164	17800	0.0468
0.9215	17900	0.0471
0.9267	18000	0.0459
0.9318	18100	0.0459
0.9370	18200	0.0458
0.9421	18300	0.0453
0.9473	18400	0.0449
0.9524	18500	0.046
0.9576	18600	0.0454
0.9627	18700	0.0455
0.9678	18800	0.0437
0.9730	18900	0.044
0.9781	19000	0.0447
0.9833	19100	0.0452
0.9884	19200	0.0435
0.9936	19300	0.0449
0.9987	19400	0.0457
1.0039	19500	0.0431
1.0091	19600	0.0438
1.0142	19700	0.0434
1.0194	19800	0.0433
1.0245	19900	0.0431
1.0297	20000	0.0423
1.0348	20100	0.0436
1.0399	20200	0.0428
1.0451	20300	0.043
1.0502	20400	0.0419
1.0554	20500	0.0419
1.0605	20600	0.0425
1.0657	20700	0.042
1.0708	20800	0.0411
1.0760	20900	0.0414
1.0811	21000	0.0417
1.0863	21100	0.0406
1.0914	21200	0.041
1.0966	21300	0.0392
1.1017	21400	0.0405
1.1069	21500	0.0399
1.1120	21600	0.0396
1.1172	21700	0.0388
1.1223	21800	0.0396
1.1275	21900	0.0388
1.1326	22000	0.038
1.1378	22100	0.038
1.1429	22200	0.0374
1.1481	22300	0.0367
1.1532	22400	0.0378
1.1584	22500	0.037
1.1635	22600	0.0365
1.1687	22700	0.0368
1.1738	22800	0.0364
1.1789	22900	0.0368
1.1841	23000	0.0366
1.1892	23100	0.0373
1.1944	23200	0.0363
1.1995	23300	0.0357
1.2047	23400	0.0359
1.2098	23500	0.0361
1.2150	23600	0.0357
1.2201	23700	0.036
1.2253	23800	0.0355
1.2304	23900	0.0347
1.2356	24000	0.0348
1.2407	24100	0.0357
1.2459	24200	0.0351
1.2510	24300	0.0348
1.2562	24400	0.0353
1.2613	24500	0.0346
1.2665	24600	0.0346
1.2716	24700	0.0353
1.2768	24800	0.034
1.2819	24900	0.0337
1.2871	25000	0.034
1.2922	25100	0.0341
1.2974	25200	0.033
1.3025	25300	0.0338
1.3077	25400	0.034
1.3128	25500	0.0346
1.3179	25600	0.033
1.3231	25700	0.0334
1.3282	25800	0.0336
1.3334	25900	0.0327
1.3385	26000	0.0323
1.3437	26100	0.0341
1.3488	26200	0.033
1.3540	26300	0.0337
1.3591	26400	0.0324
1.3643	26500	0.033
1.3694	26600	0.0325
1.3746	26700	0.0326
1.3797	26800	0.0328
1.3849	26900	0.0322
1.3900	27000	0.0325
1.3952	27100	0.0318
1.4003	27200	0.0313
1.4055	27300	0.0321
1.4106	27400	0.0324
1.4158	27500	0.0325
1.4209	27600	0.032
1.4261	27700	0.0323
1.4312	27800	0.032
1.4364	27900	0.0309
1.4415	28000	0.0311
1.4467	28100	0.031
1.4518	28200	0.0304
1.4569	28300	0.0304
1.4621	28400	0.0314
1.4672	28500	0.0303
1.4724	28600	0.0307
1.4775	28700	0.031
1.4827	28800	0.0311
1.4878	28900	0.0311
1.4930	29000	0.0308
1.4981	29100	0.0308
1.5033	29200	0.031
1.5084	29300	0.0309
1.5136	29400	0.0309
1.5187	29500	0.03
1.5239	29600	0.0307
1.5290	29700	0.0297
1.5342	29800	0.0295
1.5393	29900	0.0297
1.5445	30000	0.0294
1.5496	30100	0.0296
1.5548	30200	0.0298
1.5599	30300	0.0296
1.5651	30400	0.0297
1.5702	30500	0.0303
1.5754	30600	0.0287
1.5805	30700	0.0304
1.5857	30800	0.0291
1.5908	30900	0.0296
1.5959	31000	0.0297
1.6011	31100	0.0286
1.6062	31200	0.0286
1.6114	31300	0.0288
1.6165	31400	0.0292
1.6217	31500	0.0292
1.6268	31600	0.0289
1.6320	31700	0.0283
1.6371	31800	0.0293
1.6423	31900	0.028
1.6474	32000	0.0287
1.6526	32100	0.0281
1.6577	32200	0.0282
1.6629	32300	0.0277
1.6680	32400	0.0284
1.6732	32500	0.0286
1.6783	32600	0.0275
1.6835	32700	0.0277
1.6886	32800	0.0273
1.6938	32900	0.0285
1.6989	33000	0.0277
1.7041	33100	0.0276
1.7092	33200	0.0274
1.7144	33300	0.0281
1.7195	33400	0.0273
1.7247	33500	0.0275
1.7298	33600	0.0273
1.7349	33700	0.0269
1.7401	33800	0.0275
1.7452	33900	0.0273
1.7504	34000	0.0269
1.7555	34100	0.0284
1.7607	34200	0.0273
1.7658	34300	0.0277
1.7710	34400	0.0278
1.7761	34500	0.028
1.7813	34600	0.0268
1.7864	34700	0.0273
1.7916	34800	0.0268
1.7967	34900	0.0276
1.8019	35000	0.0271
1.8070	35100	0.0274
1.8122	35200	0.0261
1.8173	35300	0.0259
1.8225	35400	0.0268
1.8276	35500	0.0272
1.8328	35600	0.0267
1.8379	35700	0.0266
1.8431	35800	0.0269
1.8482	35900	0.0261
1.8534	36000	0.0265
1.8585	36100	0.0262
1.8637	36200	0.0263
1.8688	36300	0.0255
1.8739	36400	0.0269
1.8791	36500	0.0261
1.8842	36600	0.0261
1.8894	36700	0.0256
1.8945	36800	0.026
1.8997	36900	0.0256
1.9048	37000	0.0258
1.9100	37100	0.0246
1.9151	37200	0.0259
1.9203	37300	0.026
1.9254	37400	0.0247
1.9306	37500	0.0252
1.9357	37600	0.0253
1.9409	37700	0.0261
1.9460	37800	0.0253
1.9512	37900	0.0256
1.9563	38000	0.0261
1.9615	38100	0.0256
1.9666	38200	0.0251
1.9718	38300	0.025
1.9769	38400	0.0252
1.9821	38500	0.0258
1.9872	38600	0.0248
1.9924	38700	0.0262
1.9975	38800	0.0258
2.0027	38900	0.0251
2.0078	39000	0.0252
2.0130	39100	0.0253
2.0181	39200	0.0254
2.0233	39300	0.0243
2.0284	39400	0.0252
2.0336	39500	0.0252
2.0387	39600	0.0244
2.0439	39700	0.0253
2.0490	39800	0.0245
2.0542	39900	0.0246
2.0593	40000	0.0247
2.0645	40100	0.0251
2.0696	40200	0.0242
2.0748	40300	0.0243
2.0799	40400	0.0245
2.0850	40500	0.0242
2.0902	40600	0.0245
2.0953	40700	0.0236
2.1005	40800	0.0248
2.1056	40900	0.0238
2.1108	41000	0.024
2.1159	41100	0.0235
2.1211	41200	0.0235
2.1262	41300	0.0238
2.1314	41400	0.0221
2.1365	41500	0.0231
2.1417	41600	0.0233
2.1468	41700	0.0221
2.1520	41800	0.0226
2.1571	41900	0.0224
2.1623	42000	0.0221
2.1674	42100	0.0222
2.1726	42200	0.0222
2.1777	42300	0.0228
2.1829	42400	0.0229
2.1880	42500	0.0225
2.1932	42600	0.0225
2.1983	42700	0.0222
2.2035	42800	0.0229
2.2086	42900	0.0224
2.2138	43000	0.0225
2.2189	43100	0.0222
2.2240	43200	0.0223
2.2292	43300	0.0218
2.2343	43400	0.0219
2.2395	43500	0.0223
2.2446	43600	0.0216
2.2498	43700	0.0221
2.2549	43800	0.0218
2.2601	43900	0.0223
2.2652	44000	0.022
2.2704	44100	0.0224
2.2755	44200	0.0218
2.2807	44300	0.0216
2.2858	44400	0.0214
2.2910	44500	0.0219
2.2961	44600	0.0213
2.3013	44700	0.0213
2.3064	44800	0.0219
2.3116	44900	0.022
2.3167	45000	0.0219
2.3219	45100	0.0215
2.3270	45200	0.0211
2.3322	45300	0.0213
2.3373	45400	0.0206
2.3425	45500	0.0219
2.3476	45600	0.0212
2.3528	45700	0.0216
2.3579	45800	0.0208
2.3630	45900	0.0213
2.3682	46000	0.0212
2.3733	46100	0.0211
2.3785	46200	0.0218
2.3836	46300	0.0212
2.3888	46400	0.0212
2.3939	46500	0.0208
2.3991	46600	0.0208
2.4042	46700	0.0208
2.4094	46800	0.0215
2.4145	46900	0.0215
2.4197	47000	0.0208
2.4248	47100	0.0211
2.4300	47200	0.0207
2.4351	47300	0.021
2.4403	47400	0.0208
2.4454	47500	0.0202
2.4506	47600	0.0207
2.4557	47700	0.0203
2.4609	47800	0.0207
2.4660	47900	0.0208
2.4712	48000	0.021
2.4763	48100	0.0206
2.4815	48200	0.0211
2.4866	48300	0.0207
2.4918	48400	0.0205
2.4969	48500	0.0207
2.5020	48600	0.0208
2.5072	48700	0.0206
2.5123	48800	0.0205
2.5175	48900	0.0206
2.5226	49000	0.0204
2.5278	49100	0.0204
2.5329	49200	0.0199
2.5381	49300	0.0204
2.5432	49400	0.0199
2.5484	49500	0.0203
2.5535	49600	0.0204
2.5587	49700	0.0203
2.5638	49800	0.0202
2.5690	49900	0.0207
2.5741	50000	0.0204
2.5793	50100	0.0204
2.5844	50200	0.0205
2.5896	50300	0.0204
2.5947	50400	0.0207
2.5999	50500	0.0195
2.6050	50600	0.02
2.6102	50700	0.0201
2.6153	50800	0.0208
2.6205	50900	0.0199
2.6256	51000	0.0199
2.6307	51100	0.0201
2.6359	51200	0.0198
2.6410	51300	0.0194
2.6462	51400	0.0207
2.6513	51500	0.0198
2.6565	51600	0.02
2.6616	51700	0.0196
2.6668	51800	0.0199
2.6719	51900	0.02
2.6771	52000	0.0197
2.6822	52100	0.0194
2.6874	52200	0.0194
2.6925	52300	0.02
2.6977	52400	0.0197
2.7028	52500	0.0197
2.7080	52600	0.0192
2.7131	52700	0.02
2.7183	52800	0.0196
2.7234	52900	0.0204
2.7286	53000	0.0195
2.7337	53100	0.0192
2.7389	53200	0.0199
2.7440	53300	0.0198
2.7492	53400	0.0194
2.7543	53500	0.0202
2.7595	53600	0.02
2.7646	53700	0.02
2.7697	53800	0.0201
2.7749	53900	0.0196
2.7800	54000	0.0192
2.7852	54100	0.0195
2.7903	54200	0.019
2.7955	54300	0.0195
2.8006	54400	0.0198
2.8058	54500	0.0191
2.8109	54600	0.0191
2.8161	54700	0.0192
2.8212	54800	0.0193
2.8264	54900	0.0201
2.8315	55000	0.0196
2.8367	55100	0.0192
2.8418	55200	0.0205
2.8470	55300	0.0199
2.8521	55400	0.0194
2.8573	55500	0.0197
2.8624	55600	0.0193
2.8676	55700	0.0196
2.8727	55800	0.0195
2.8779	55900	0.0195
2.8830	56000	0.0189
2.8882	56100	0.0195
2.8933	56200	0.0196
2.8985	56300	0.0196
2.9036	56400	0.019
2.9087	56500	0.019
2.9139	56600	0.019
2.9190	56700	0.0195
2.9242	56800	0.0191
2.9293	56900	0.0191
2.9345	57000	0.0191
2.9396	57100	0.0198
2.9448	57200	0.0193
2.9499	57300	0.0192
2.9551	57400	0.0194
2.9602	57500	0.0195
2.9654	57600	0.0191
2.9705	57700	0.0193
2.9757	57800	0.0194
2.9808	57900	0.0198
2.9860	58000	0.019
2.9911	58100	0.0193
2.9963	58200	0.0198

Framework Versions

Python: 3.11.11
Sentence Transformers: 4.1.0
Transformers: 4.51.3
PyTorch: 2.6.0+cu126
Accelerate: 1.6.0
Datasets: 3.5.0
Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

bibtex

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

	query	passage
type	string	string
details	min: 8 tokens mean: 12.57 tokens max: 21 tokens	min: 65 tokens mean: 267.65 tokens max: 412 tokens