This is a sentence-transformers model finetuned from Alibaba-NLP/gte-multilingual-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: Alibaba-NLP/gte-multilingual-base
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 tokens
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("seongil-dn/gte-further-filtered-neg5")
# Run inference
sentences = [
    '유성체 흐름은 어떻게 분포되어 있나요?',
    '유성체 흐름은 대체로 모혜성의 공전궤도를 중심으로 원통형으로 분포되어 있다. 유성체의 밀도는 모혜성의 공전 궤도로 갈수록 높아지며, 지구가 이러한 유성체 흐름을 관통할 때, 중심에 다가갈수록 더 많은 유성체가 지구 대기 속으로 돌입하게 된다. 따라서 한 유성우가 나타날 때는 매일 나타나는 유성의 개수가 증가하다가 감소하는 경향을 띤다. 관측적으로 지수함수적으로 증가하다가 지수함수적으로 감소하는 경향을 보인다. 한 유성우가 나타나는 시기의 유성개수의 변화는, 어떤 시점 formula_1에서 formula_2 와 같이 나타낼 수 있다. 유성의 개수는 formula_3일 때 최대가 되는데, 이것을 극대기라고 한다. 또한 formula_4의 시간 규모는 유성의 개수가 확연하게 변하는 시간 규모에 해당한다. 이른바 지수함수적 시간척도(e-folding time scale)이라고 하는 것이다. 단순히 나타나는 유성의 개수를 세기만 해도 이러한 값들은 측정할 수 있으며, 이로부터 지구 공전 궤도상에 놓여 있는 유성체 흐름의 분포를 자세히 연구할 수 있다.',
    '유성체는 대부분 혜성에서 떨어져 나온 부스러기이며, 일부는 소행성에서 떨어져 나온 부스러기도 있다. 유성체는 혜성이 해에 가까이 올 때마다 방출되는데, 해에 접근한 혜성의 속도는 보통 수 십 km/s를 넘는다. 유성체들이 혜성에서 떨어져 나올 때, 방출 속도가 조금씩 다르고 혜성이 또한 자전하므로 유성체들의 속도 성분은 혜성의 속도와 약간씩 차이가 생기게 된다. 그러나 그 양은 혜성의 속도에 비해 아주 작다. 그러나 이 작은 속도 차이 때문에 유성체들은 대체로 혜성의 궤도를 따라 운동을 하되 약간씩 다른 궤도를 돌게 되어, 마침내 혜성에서 나온 유성체들은 혜성의 공전 궤도를 따라 띠를 형성하게 된다. 더군다나 한번 방출된 유성체는 주로 목성과 해의 인력을 받게 되므로 띠는 점점 더 넓어지고 균질하게 된다. 이것을 유성체 흐름(meteoroid stream)이라고 한다. 지구가 유성체 흐름을 휩쓸고 지나갈 때 유성우가 일어난다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 64
learning_rate: 7e-05
adam_epsilon: 1e-07
warmup_ratio: 0.05
bf16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 64
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 7e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-07
max_grad_norm: 1.0
num_train_epochs: 3
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.05
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: True
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
eval_use_gather_object: False
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0026	1	0.7679
0.0052	2	0.62
0.0078	3	0.5875
0.0103	4	0.5567
0.0129	5	0.6888
0.0155	6	0.6659
0.0181	7	0.6805
0.0207	8	0.5872
0.0233	9	0.7301
0.0258	10	0.4989
0.0284	11	0.6243
0.0310	12	0.6136
0.0336	13	0.6529
0.0362	14	0.5536
0.0388	15	0.7124
0.0413	16	0.5901
0.0439	17	0.5009
0.0465	18	0.6692
0.0491	19	0.5198
0.0517	20	0.4958
0.0543	21	0.5647
0.0568	22	0.5084
0.0594	23	0.6018
0.0620	24	0.5501
0.0646	25	0.6171
0.0672	26	0.4677
0.0698	27	0.4531
0.0724	28	0.5457
0.0749	29	0.4137
0.0775	30	0.502
0.0801	31	0.3585
0.0827	32	0.4246
0.0853	33	0.4401
0.0879	34	0.448
0.0904	35	0.4464
0.0930	36	0.4546
0.0956	37	0.4943
0.0982	38	0.3874
0.1008	39	0.4109
0.1034	40	0.4747
0.1059	41	0.3218
0.1085	42	0.2444
0.1111	43	0.4396
0.1137	44	0.3343
0.1163	45	0.4269
0.1189	46	0.2613
0.1214	47	0.4472
0.1240	48	0.3737
0.1266	49	0.3696
0.1292	50	0.2962
0.1318	51	0.3207
0.1344	52	0.3006
0.1370	53	0.266
0.1395	54	0.4126
0.1421	55	0.2782
0.1447	56	0.3467
0.1473	57	0.3688
0.1499	58	0.3782
0.1525	59	0.2399
0.1550	60	0.3389
0.1576	61	0.2953
0.1602	62	0.262
0.1628	63	0.2786
0.1654	64	0.278
0.1680	65	0.2649
0.1705	66	0.2248
0.1731	67	0.2802
0.1757	68	0.1902
0.1783	69	0.2678
0.1809	70	0.2554
0.1835	71	0.31
0.1860	72	0.2631
0.1886	73	0.2766
0.1912	74	0.3062
0.1938	75	0.2294
0.1964	76	0.1803
0.1990	77	0.345
0.2016	78	0.2374
0.2041	79	0.2737
0.2067	80	0.2879
0.2093	81	0.1561
0.2119	82	0.2342
0.2145	83	0.1912
0.2171	84	0.2001
0.2196	85	0.2577
0.2222	86	0.236
0.2248	87	0.2604
0.2274	88	0.309
0.2300	89	0.2576
0.2326	90	0.254
0.2351	91	0.1699
0.2377	92	0.3595
0.2403	93	0.2516
0.2429	94	0.2495
0.2455	95	0.2182
0.2481	96	0.3665
0.2506	97	0.3084
0.2532	98	0.3122
0.2558	99	0.2174
0.2584	100	0.2536
0.2610	101	0.1953
0.2636	102	0.2979
0.2661	103	0.1005
0.2687	104	0.3461
0.2713	105	0.2068
0.2739	106	0.1989
0.2765	107	0.3092
0.2791	108	0.1499
0.2817	109	0.1323
0.2842	110	0.1536
0.2868	111	0.264
0.2894	112	0.1333
0.2920	113	0.2626
0.2946	114	0.2832
0.2972	115	0.1162
0.2997	116	0.2126
0.3023	117	0.201
0.3049	118	0.2199
0.3075	119	0.2757
0.3101	120	0.2305
0.3127	121	0.2136
0.3152	122	0.1326
0.3178	123	0.1717
0.3204	124	0.2084
0.3230	125	0.2609
0.3256	126	0.3399
0.3282	127	0.2941
0.3307	128	0.4065
0.3333	129	0.1987
0.3359	130	0.1859
0.3385	131	0.1925
0.3411	132	0.2456
0.3437	133	0.2226
0.3463	134	0.1664
0.3488	135	0.1657
0.3514	136	0.2225
0.3540	137	0.2497
0.3566	138	0.297
0.3592	139	0.2724
0.3618	140	0.1881
0.3643	141	0.2542
0.3669	142	0.2917
0.3695	143	0.1989
0.3721	144	0.1373
0.3747	145	0.1697
0.3773	146	0.2558
0.3798	147	0.1616
0.3824	148	0.2284
0.3850	149	0.1968
0.3876	150	0.1204
0.3902	151	0.2593
0.3928	152	0.3826
0.3953	153	0.2153
0.3979	154	0.2661
0.4005	155	0.2417
0.4031	156	0.234
0.4057	157	0.1506
0.4083	158	0.1771
0.4109	159	0.1616
0.4134	160	0.1898
0.4160	161	0.1969
0.4186	162	0.2431
0.4212	163	0.1992
0.4238	164	0.192
0.4264	165	0.2028
0.4289	166	0.2382
0.4315	167	0.2275
0.4341	168	0.1574
0.4367	169	0.2832
0.4393	170	0.1972
0.4419	171	0.2315
0.4444	172	0.2247
0.4470	173	0.2341
0.4496	174	0.2244
0.4522	175	0.1645
0.4548	176	0.2609
0.4574	177	0.1761
0.4599	178	0.4045
0.4625	179	0.1938
0.4651	180	0.3102
0.4677	181	0.1975
0.4703	182	0.2006
0.4729	183	0.1991
0.4755	184	0.164
0.4780	185	0.2669
0.4806	186	0.1775
0.4832	187	0.1271
0.4858	188	0.2955
0.4884	189	0.1761
0.4910	190	0.2153
0.4935	191	0.1312
0.4961	192	0.2594
0.4987	193	0.1715
0.5013	194	0.2089
0.5039	195	0.2036
0.5065	196	0.1404
0.5090	197	0.2259
0.5116	198	0.1722
0.5142	199	0.2353
0.5168	200	0.2091
0.5194	201	0.1738
0.5220	202	0.1803
0.5245	203	0.1872
0.5271	204	0.1481
0.5297	205	0.1634
0.5323	206	0.3416
0.5349	207	0.2206
0.5375	208	0.2167
0.5401	209	0.199
0.5426	210	0.1626
0.5452	211	0.3082
0.5478	212	0.2092
0.5504	213	0.2217
0.5530	214	0.2334
0.5556	215	0.1734
0.5581	216	0.2058
0.5607	217	0.2501
0.5633	218	0.3214
0.5659	219	0.1748
0.5685	220	0.2109
0.5711	221	0.1062
0.5736	222	0.3309
0.5762	223	0.1409
0.5788	224	0.1875
0.5814	225	0.2103
0.5840	226	0.1565
0.5866	227	0.2551
0.5891	228	0.2042
0.5917	229	0.1288
0.5943	230	0.1366
0.5969	231	0.1543
0.5995	232	0.2069
0.6021	233	0.2953
0.6047	234	0.2239
0.6072	235	0.2046
0.6098	236	0.1682
0.6124	237	0.2401
0.6150	238	0.2596
0.6176	239	0.1951
0.6202	240	0.2029
0.6227	241	0.1464
0.6253	242	0.1661
0.6279	243	0.1447
0.6305	244	0.1014
0.6331	245	0.1757
0.6357	246	0.1526
0.6382	247	0.1417
0.6408	248	0.1654
0.6434	249	0.2216
0.6460	250	0.287
0.6486	251	0.3283
0.6512	252	0.1765
0.6537	253	0.184
0.6563	254	0.2038
0.6589	255	0.2501
0.6615	256	0.2285
0.6641	257	0.2239
0.6667	258	0.2949
0.6693	259	0.1532
0.6718	260	0.2584
0.6744	261	0.1513
0.6770	262	0.1326
0.6796	263	0.2777
0.6822	264	0.1235
0.6848	265	0.1843
0.6873	266	0.2934
0.6899	267	0.1732
0.6925	268	0.177
0.6951	269	0.1428
0.6977	270	0.1583
0.7003	271	0.208
0.7028	272	0.1847
0.7054	273	0.1349
0.7080	274	0.1644
0.7106	275	0.214
0.7132	276	0.2338
0.7158	277	0.2421
0.7183	278	0.1836
0.7209	279	0.3185
0.7235	280	0.228
0.7261	281	0.2234
0.7287	282	0.2504
0.7313	283	0.1918
0.7339	284	0.2107
0.7364	285	0.1607
0.7390	286	0.1298
0.7416	287	0.2802
0.7442	288	0.1903
0.7468	289	0.2628
0.7494	290	0.1593
0.7519	291	0.1993
0.7545	292	0.1634
0.7571	293	0.2143
0.7597	294	0.2684
0.7623	295	0.1996
0.7649	296	0.1374
0.7674	297	0.1547
0.7700	298	0.2221
0.7726	299	0.1802
0.7752	300	0.2051
0.7778	301	0.1657
0.7804	302	0.1539
0.7829	303	0.1398
0.7855	304	0.211
0.7881	305	0.2118
0.7907	306	0.2215
0.7933	307	0.1258
0.7959	308	0.1504
0.7984	309	0.2606
0.8010	310	0.1805
0.8036	311	0.2559
0.8062	312	0.1002
0.8088	313	0.2279
0.8114	314	0.1518
0.8140	315	0.191
0.8165	316	0.1891
0.8191	317	0.1497
0.8217	318	0.1704
0.8243	319	0.1839
0.8269	320	0.132
0.8295	321	0.2276
0.8320	322	0.2594
0.8346	323	0.1868
0.8372	324	0.1443
0.8398	325	0.1967
0.8424	326	0.1041
0.8450	327	0.2678
0.8475	328	0.1805
0.8501	329	0.1565
0.8527	330	0.1672
0.8553	331	0.1416
0.8579	332	0.1541
0.8605	333	0.177
0.8630	334	0.098
0.8656	335	0.2422
0.8682	336	0.1849
0.8708	337	0.0895
0.8734	338	0.2132
0.8760	339	0.1613
0.8786	340	0.1912
0.8811	341	0.2053
0.8837	342	0.1021
0.8863	343	0.2787
0.8889	344	0.1864
0.8915	345	0.2768
0.8941	346	0.1357
0.8966	347	0.1293
0.8992	348	0.1857
0.9018	349	0.1266
0.9044	350	0.1166
0.9070	351	0.2127
0.9096	352	0.2263
0.9121	353	0.2055
0.9147	354	0.164
0.9173	355	0.0932
0.9199	356	0.1028
0.9225	357	0.142
0.9251	358	0.1558
0.9276	359	0.149
0.9302	360	0.1967
0.9328	361	0.1272
0.9354	362	0.2464
0.9380	363	0.1894
0.9406	364	0.2198
0.9432	365	0.1901
0.9457	366	0.1614
0.9483	367	0.1307
0.9509	368	0.1794
0.9535	369	0.2301
0.9561	370	0.1924
0.9587	371	0.2617
0.9612	372	0.1623
0.9638	373	0.1443
0.9664	374	0.2275
0.9690	375	0.2367
0.9716	376	0.1893
0.9742	377	0.2257
0.9767	378	0.2445
0.9793	379	0.2034
0.9819	380	0.2347
0.9845	381	0.1305
0.9871	382	0.1996
0.9897	383	0.1434
0.9922	384	0.2763
0.9948	385	0.1748
0.9974	386	0.2023
1.0	387	0.1138
1.0026	388	0.182
1.0052	389	0.2217
1.0078	390	0.1567
1.0103	391	0.1927
1.0129	392	0.2401
1.0155	393	0.21
1.0181	394	0.2667
1.0207	395	0.2306
1.0233	396	0.1865
1.0258	397	0.0838
1.0284	398	0.165
1.0310	399	0.1608
1.0336	400	0.1601
1.0362	401	0.1399
1.0388	402	0.2035
1.0413	403	0.1325
1.0439	404	0.1175
1.0465	405	0.2415
1.0491	406	0.12
1.0517	407	0.1919
1.0543	408	0.1639
1.0568	409	0.0994
1.0594	410	0.1722
1.0620	411	0.2044
1.0646	412	0.2362
1.0672	413	0.2272
1.0698	414	0.2148
1.0724	415	0.2257
1.0749	416	0.1302
1.0775	417	0.1836
1.0801	418	0.0973
1.0827	419	0.1845
1.0853	420	0.2031
1.0879	421	0.1751
1.0904	422	0.1797
1.0930	423	0.1789
1.0956	424	0.1537
1.0982	425	0.1147
1.1008	426	0.1214
1.1034	427	0.2233
1.1059	428	0.1137
1.1085	429	0.0887
1.1111	430	0.1535
1.1137	431	0.1446
1.1163	432	0.1788
1.1189	433	0.1113
1.1214	434	0.1585
1.1240	435	0.1116
1.1266	436	0.1044
1.1292	437	0.1311
1.1318	438	0.1835
1.1344	439	0.1185
1.1370	440	0.1198
1.1395	441	0.1567
1.1421	442	0.1518
1.1447	443	0.1392
1.1473	444	0.1552
1.1499	445	0.1994
1.1525	446	0.1148
1.1550	447	0.1939
1.1576	448	0.1672
1.1602	449	0.0955
1.1628	450	0.1521
1.1654	451	0.1195
1.1680	452	0.1026
1.1705	453	0.0847
1.1731	454	0.1475
1.1757	455	0.0908
1.1783	456	0.154
1.1809	457	0.1033
1.1835	458	0.1876
1.1860	459	0.1087
1.1886	460	0.1425
1.1912	461	0.2407
1.1938	462	0.1317
1.1964	463	0.0819
1.1990	464	0.1737
1.2016	465	0.1224
1.2041	466	0.1347
1.2067	467	0.1011
1.2093	468	0.071
1.2119	469	0.1006
1.2145	470	0.1182
1.2171	471	0.0642
1.2196	472	0.1359
1.2222	473	0.1492
1.2248	474	0.1573
1.2274	475	0.1393
1.2300	476	0.1126
1.2326	477	0.1377
1.2351	478	0.1398
1.2377	479	0.1944
1.2403	480	0.1248
1.2429	481	0.1594
1.2455	482	0.1209
1.2481	483	0.2041
1.2506	484	0.2128
1.2532	485	0.1167
1.2558	486	0.114
1.2584	487	0.1788
1.2610	488	0.0821
1.2636	489	0.137
1.2661	490	0.0511
1.2687	491	0.2547
1.2713	492	0.1569
1.2739	493	0.113
1.2765	494	0.1901
1.2791	495	0.0671
1.2817	496	0.086
1.2842	497	0.0904
1.2868	498	0.1443
1.2894	499	0.1084
1.2920	500	0.172
1.2946	501	0.1291
1.2972	502	0.0481
1.2997	503	0.1722
1.3023	504	0.1525
1.3049	505	0.1231
1.3075	506	0.1528
1.3101	507	0.1604
1.3127	508	0.1446
1.3152	509	0.0584
1.3178	510	0.0731
1.3204	511	0.128
1.3230	512	0.1482
1.3256	513	0.227
1.3282	514	0.1262
1.3307	515	0.3067
1.3333	516	0.1197
1.3359	517	0.1136
1.3385	518	0.1098
1.3411	519	0.173
1.3437	520	0.0962
1.3463	521	0.0972
1.3488	522	0.0965
1.3514	523	0.1618
1.3540	524	0.15
1.3566	525	0.2188
1.3592	526	0.186
1.3618	527	0.1546
1.3643	528	0.1107
1.3669	529	0.1336
1.3695	530	0.1382
1.3721	531	0.1081
1.3747	532	0.0808
1.3773	533	0.1351
1.3798	534	0.1112
1.3824	535	0.104
1.3850	536	0.0949
1.3876	537	0.0972
1.3902	538	0.1416
1.3928	539	0.2878
1.3953	540	0.1246
1.3979	541	0.1605
1.4005	542	0.2012
1.4031	543	0.1472
1.4057	544	0.0939
1.4083	545	0.1146
1.4109	546	0.0897
1.4134	547	0.1545
1.4160	548	0.1224
1.4186	549	0.134
1.4212	550	0.1823
1.4238	551	0.1636
1.4264	552	0.1333
1.4289	553	0.1029
1.4315	554	0.1856
1.4341	555	0.1147
1.4367	556	0.1698
1.4393	557	0.1202
1.4419	558	0.1402
1.4444	559	0.1612
1.4470	560	0.1623
1.4496	561	0.1503
1.4522	562	0.1027
1.4548	563	0.1812
1.4574	564	0.0991
1.4599	565	0.2166
1.4625	566	0.1367
1.4651	567	0.215
1.4677	568	0.1303
1.4703	569	0.1031
1.4729	570	0.1407
1.4755	571	0.0845
1.4780	572	0.1248
1.4806	573	0.106
1.4832	574	0.074
1.4858	575	0.1855
1.4884	576	0.0906
1.4910	577	0.1173
1.4935	578	0.0889
1.4961	579	0.1688
1.4987	580	0.1116
1.5013	581	0.1711
1.5039	582	0.1506
1.5065	583	0.0962
1.5090	584	0.1381
1.5116	585	0.1132
1.5142	586	0.1617
1.5168	587	0.1476
1.5194	588	0.0938
1.5220	589	0.1264
1.5245	590	0.1138
1.5271	591	0.0822
1.5297	592	0.091
1.5323	593	0.2277
1.5349	594	0.1301
1.5375	595	0.1917
1.5401	596	0.1524
1.5426	597	0.1021
1.5452	598	0.2273
1.5478	599	0.1036
1.5504	600	0.167
1.5530	601	0.1483
1.5556	602	0.1117
1.5581	603	0.1354
1.5607	604	0.1454
1.5633	605	0.3006
1.5659	606	0.1378
1.5685	607	0.18
1.5711	608	0.083
1.5736	609	0.2083
1.5762	610	0.0824
1.5788	611	0.1476
1.5814	612	0.1499
1.5840	613	0.1092
1.5866	614	0.2291
1.5891	615	0.1121
1.5917	616	0.0798
1.5943	617	0.0843
1.5969	618	0.1143
1.5995	619	0.1062
1.6021	620	0.209
1.6047	621	0.1556
1.6072	622	0.1828
1.6098	623	0.1107
1.6124	624	0.1827
1.6150	625	0.1885
1.6176	626	0.1606
1.6202	627	0.1561
1.6227	628	0.1256
1.6253	629	0.077
1.6279	630	0.0826
1.6305	631	0.118
1.6331	632	0.0998
1.6357	633	0.0782
1.6382	634	0.1448
1.6408	635	0.1195
1.6434	636	0.1879
1.6460	637	0.1733
1.6486	638	0.2013
1.6512	639	0.1088
1.6537	640	0.1584
1.6563	641	0.1345
1.6589	642	0.2369
1.6615	643	0.1484
1.6641	644	0.1784
1.6667	645	0.2001
1.6693	646	0.1264
1.6718	647	0.1867
1.6744	648	0.0808
1.6770	649	0.0975
1.6796	650	0.156
1.6822	651	0.076
1.6848	652	0.1397
1.6873	653	0.1591
1.6899	654	0.1405
1.6925	655	0.0888
1.6951	656	0.1066
1.6977	657	0.0932
1.7003	658	0.1541
1.7028	659	0.1614
1.7054	660	0.0826
1.7080	661	0.1334
1.7106	662	0.154
1.7132	663	0.1452
1.7158	664	0.1708
1.7183	665	0.1472
1.7209	666	0.2017
1.7235	667	0.1821
1.7261	668	0.169
1.7287	669	0.1658
1.7313	670	0.1081
1.7339	671	0.1613
1.7364	672	0.0995
1.7390	673	0.127
1.7416	674	0.1893
1.7442	675	0.1249
1.7468	676	0.1756
1.7494	677	0.1034
1.7519	678	0.1402
1.7545	679	0.099
1.7571	680	0.1466
1.7597	681	0.1805
1.7623	682	0.0954
1.7649	683	0.102
1.7674	684	0.0911
1.7700	685	0.1214
1.7726	686	0.1039
1.7752	687	0.1147
1.7778	688	0.0865
1.7804	689	0.1019
1.7829	690	0.0771
1.7855	691	0.1347
1.7881	692	0.1696
1.7907	693	0.1564
1.7933	694	0.1041
1.7959	695	0.1377
1.7984	696	0.2311
1.8010	697	0.1562
1.8036	698	0.1466
1.8062	699	0.0636
1.8088	700	0.1792
1.8114	701	0.0998
1.8140	702	0.1436
1.8165	703	0.134
1.8191	704	0.1326
1.8217	705	0.1714
1.8243	706	0.123
1.8269	707	0.119
1.8295	708	0.1803
1.8320	709	0.1752
1.8346	710	0.1116
1.8372	711	0.1199
1.8398	712	0.1444
1.8424	713	0.0871
1.8450	714	0.2385
1.8475	715	0.1565
1.8501	716	0.1185
1.8527	717	0.101
1.8553	718	0.1285
1.8579	719	0.1247
1.8605	720	0.1326
1.8630	721	0.1049
1.8656	722	0.1918
1.8682	723	0.1417
1.8708	724	0.097
1.8734	725	0.1953
1.8760	726	0.1396
1.8786	727	0.1773
1.8811	728	0.1404
1.8837	729	0.1049
1.8863	730	0.2029
1.8889	731	0.1597
1.8915	732	0.1989
1.8941	733	0.0921
1.8966	734	0.0777
1.8992	735	0.1241
1.9018	736	0.1116
1.9044	737	0.1017
1.9070	738	0.1241
1.9096	739	0.1601
1.9121	740	0.1472
1.9147	741	0.1218
1.9173	742	0.0903
1.9199	743	0.0777
1.9225	744	0.1115
1.9251	745	0.109
1.9276	746	0.1291
1.9302	747	0.1893
1.9328	748	0.1234
1.9354	749	0.25
1.9380	750	0.1475
1.9406	751	0.1574
1.9432	752	0.2231
1.9457	753	0.1341
1.9483	754	0.0776
1.9509	755	0.1712
1.9535	756	0.1629
1.9561	757	0.1751
1.9587	758	0.2061
1.9612	759	0.1329
1.9638	760	0.1284
1.9664	761	0.1937
1.9690	762	0.1458
1.9716	763	0.1317
1.9742	764	0.1141
1.9767	765	0.2299
1.9793	766	0.1455
1.9819	767	0.1535
1.9845	768	0.1123
1.9871	769	0.1963
1.9897	770	0.0977
1.9922	771	0.1847
1.9948	772	0.1192
1.9974	773	0.1481
2.0	774	0.0941
2.0026	775	0.1925
2.0052	776	0.2023
2.0078	777	0.0936
2.0103	778	0.161
2.0129	779	0.1958
2.0155	780	0.1642
2.0181	781	0.2644
2.0207	782	0.1858
2.0233	783	0.149
2.0258	784	0.0721
2.0284	785	0.1602
2.0310	786	0.083
2.0336	787	0.1192
2.0362	788	0.1133
2.0388	789	0.161
2.0413	790	0.1
2.0439	791	0.1142
2.0465	792	0.1761
2.0491	793	0.0686
2.0517	794	0.1064
2.0543	795	0.1621
2.0568	796	0.0788
2.0594	797	0.1472
2.0620	798	0.1717
2.0646	799	0.1991
2.0672	800	0.129
2.0698	801	0.177
2.0724	802	0.1344
2.0749	803	0.1433
2.0775	804	0.1261
2.0801	805	0.0999
2.0827	806	0.1114
2.0853	807	0.1265
2.0879	808	0.1632
2.0904	809	0.1247
2.0930	810	0.1392
2.0956	811	0.1489
2.0982	812	0.1131
2.1008	813	0.1147
2.1034	814	0.1957
2.1059	815	0.0873
2.1085	816	0.0996
2.1111	817	0.1317
2.1137	818	0.087
2.1163	819	0.1294
2.1189	820	0.0748
2.1214	821	0.1382
2.1240	822	0.0727
2.1266	823	0.0985
2.1292	824	0.1322
2.1318	825	0.1439
2.1344	826	0.1046
2.1370	827	0.0978
2.1395	828	0.1453
2.1421	829	0.1113
2.1447	830	0.1313
2.1473	831	0.1431
2.1499	832	0.2131
2.1525	833	0.1018
2.1550	834	0.0969
2.1576	835	0.107
2.1602	836	0.0698
2.1628	837	0.1345
2.1654	838	0.1115
2.1680	839	0.1115
2.1705	840	0.0778
2.1731	841	0.1101
2.1757	842	0.0845
2.1783	843	0.169
2.1809	844	0.0887
2.1835	845	0.1837
2.1860	846	0.0934
2.1886	847	0.1031
2.1912	848	0.2021
2.1938	849	0.1224
2.1964	850	0.0763
2.1990	851	0.1701
2.2016	852	0.1097
2.2041	853	0.1054
2.2067	854	0.1055
2.2093	855	0.0642
2.2119	856	0.0964
2.2145	857	0.0907
2.2171	858	0.0438
2.2196	859	0.1099
2.2222	860	0.0662
2.2248	861	0.1545
2.2274	862	0.1122
2.2300	863	0.0936
2.2326	864	0.1189
2.2351	865	0.1155
2.2377	866	0.2454
2.2403	867	0.0919
2.2429	868	0.1388
2.2455	869	0.1175
2.2481	870	0.1887
2.2506	871	0.156
2.2532	872	0.1174
2.2558	873	0.0975
2.2584	874	0.125
2.2610	875	0.0622
2.2636	876	0.1722
2.2661	877	0.0392
2.2687	878	0.2179
2.2713	879	0.1214
2.2739	880	0.0739
2.2765	881	0.1898
2.2791	882	0.0633
2.2817	883	0.0678
2.2842	884	0.0751
2.2868	885	0.1197
2.2894	886	0.0962
2.2920	887	0.1359
2.2946	888	0.0795
2.2972	889	0.0543
2.2997	890	0.1326
2.3023	891	0.1348
2.3049	892	0.1181
2.3075	893	0.134
2.3101	894	0.0984
2.3127	895	0.1143
2.3152	896	0.0519
2.3178	897	0.0784
2.3204	898	0.1062
2.3230	899	0.1416
2.3256	900	0.1379
2.3282	901	0.1259
2.3307	902	0.2359
2.3333	903	0.0901
2.3359	904	0.1005
2.3385	905	0.1075
2.3411	906	0.1281
2.3437	907	0.1083
2.3463	908	0.0609
2.3488	909	0.0793
2.3514	910	0.1184
2.3540	911	0.1328
2.3566	912	0.1867
2.3592	913	0.1976
2.3618	914	0.1121
2.3643	915	0.1059
2.3669	916	0.1417
2.3695	917	0.1515
2.3721	918	0.1093
2.3747	919	0.0735
2.3773	920	0.1362
2.3798	921	0.1134
2.3824	922	0.1356
2.3850	923	0.075
2.3876	924	0.0728
2.3902	925	0.1262
2.3928	926	0.2486
2.3953	927	0.1384
2.3979	928	0.1543
2.4005	929	0.1447
2.4031	930	0.1118
2.4057	931	0.0785
2.4083	932	0.1008
2.4109	933	0.0567
2.4134	934	0.1422
2.4160	935	0.1267
2.4186	936	0.1239
2.4212	937	0.1792
2.4238	938	0.1396
2.4264	939	0.1063
2.4289	940	0.0991
2.4315	941	0.12
2.4341	942	0.0853
2.4367	943	0.1595
2.4393	944	0.0952
2.4419	945	0.1225
2.4444	946	0.1013
2.4470	947	0.1431
2.4496	948	0.1648
2.4522	949	0.1057
2.4548	950	0.2071
2.4574	951	0.0992
2.4599	952	0.2224
2.4625	953	0.12
2.4651	954	0.168
2.4677	955	0.0934
2.4703	956	0.1027
2.4729	957	0.1511
2.4755	958	0.055
2.4780	959	0.1711
2.4806	960	0.1041
2.4832	961	0.0517
2.4858	962	0.1721
2.4884	963	0.0752
2.4910	964	0.1414
2.4935	965	0.0806
2.4961	966	0.1239
2.4987	967	0.1261
2.5013	968	0.1695
2.5039	969	0.115
2.5065	970	0.1079
2.5090	971	0.1031
2.5116	972	0.0872
2.5142	973	0.1775
2.5168	974	0.1164
2.5194	975	0.0926
2.5220	976	0.1239
2.5245	977	0.1012
2.5271	978	0.07
2.5297	979	0.1009
2.5323	980	0.2477
2.5349	981	0.1654
2.5375	982	0.1597
2.5401	983	0.166
2.5426	984	0.1027
2.5452	985	0.214
2.5478	986	0.0963
2.5504	987	0.1128
2.5530	988	0.1474
2.5556	989	0.1065
2.5581	990	0.1209
2.5607	991	0.132
2.5633	992	0.274
2.5659	993	0.0845
2.5685	994	0.1455
2.5711	995	0.0707
2.5736	996	0.2082
2.5762	997	0.0803
2.5788	998	0.1153
2.5814	999	0.097
2.5840	1000	0.0979
2.5866	1001	0.207
2.5891	1002	0.1084
2.5917	1003	0.0725
2.5943	1004	0.0945
2.5969	1005	0.1056
2.5995	1006	0.1284
2.6021	1007	0.1771
2.6047	1008	0.1154
2.6072	1009	0.1597
2.6098	1010	0.1019
2.6124	1011	0.1
2.6150	1012	0.1723
2.6176	1013	0.1491
2.6202	1014	0.1447
2.6227	1015	0.1142
2.6253	1016	0.0901
2.6279	1017	0.0805
2.6305	1018	0.0687
2.6331	1019	0.1021
2.6357	1020	0.1089
2.6382	1021	0.101
2.6408	1022	0.1154
2.6434	1023	0.149
2.6460	1024	0.1731
2.6486	1025	0.1902
2.6512	1026	0.106
2.6537	1027	0.1315
2.6563	1028	0.1344
2.6589	1029	0.2004
2.6615	1030	0.1629
2.6641	1031	0.1365
2.6667	1032	0.1638
2.6693	1033	0.1301
2.6718	1034	0.1822
2.6744	1035	0.0965
2.6770	1036	0.082
2.6796	1037	0.1501
2.6822	1038	0.0645
2.6848	1039	0.1261
2.6873	1040	0.2367
2.6899	1041	0.1378
2.6925	1042	0.1001
2.6951	1043	0.0973
2.6977	1044	0.1161
2.7003	1045	0.1148
2.7028	1046	0.1242
2.7054	1047	0.0867
2.7080	1048	0.1116
2.7106	1049	0.1502
2.7132	1050	0.1594
2.7158	1051	0.1459
2.7183	1052	0.1533
2.7209	1053	0.1791
2.7235	1054	0.1745
2.7261	1055	0.1128
2.7287	1056	0.1859
2.7313	1057	0.0938
2.7339	1058	0.1103
2.7364	1059	0.0907
2.7390	1060	0.0891
2.7416	1061	0.1897
2.7442	1062	0.1048
2.7468	1063	0.1777
2.7494	1064	0.1196
2.7519	1065	0.1477
2.7545	1066	0.113
2.7571	1067	0.1565
2.7597	1068	0.2063
2.7623	1069	0.0883
2.7649	1070	0.0888
2.7674	1071	0.0985
2.7700	1072	0.1242
2.7726	1073	0.1177
2.7752	1074	0.1053
2.7778	1075	0.0638
2.7804	1076	0.1103
2.7829	1077	0.0837
2.7855	1078	0.1347
2.7881	1079	0.1333
2.7907	1080	0.1697
2.7933	1081	0.1057
2.7959	1082	0.1102
2.7984	1083	0.1632
2.8010	1084	0.1295
2.8036	1085	0.1349
2.8062	1086	0.0729
2.8088	1087	0.1628
2.8114	1088	0.0935
2.8140	1089	0.1359
2.8165	1090	0.1262
2.8191	1091	0.1474
2.8217	1092	0.1248
2.8243	1093	0.1124
2.8269	1094	0.1262
2.8295	1095	0.2138
2.8320	1096	0.2028
2.8346	1097	0.122
2.8372	1098	0.1275
2.8398	1099	0.1176
2.8424	1100	0.0579
2.8450	1101	0.1725
2.8475	1102	0.1311
2.8501	1103	0.1246
2.8527	1104	0.1132
2.8553	1105	0.0998
2.8579	1106	0.1069
2.8605	1107	0.09
2.8630	1108	0.0925
2.8656	1109	0.1689
2.8682	1110	0.134
2.8708	1111	0.1002
2.8734	1112	0.1838
2.8760	1113	0.1526
2.8786	1114	0.1513
2.8811	1115	0.1702
2.8837	1116	0.101
2.8863	1117	0.1615
2.8889	1118	0.0936
2.8915	1119	0.1835
2.8941	1120	0.1015
2.8966	1121	0.0717
2.8992	1122	0.1218
2.9018	1123	0.071
2.9044	1124	0.0987
2.9070	1125	0.1109
2.9096	1126	0.12
2.9121	1127	0.1667
2.9147	1128	0.1171
2.9173	1129	0.095
2.9199	1130	0.0825
2.9225	1131	0.0654
2.9251	1132	0.1256
2.9276	1133	0.1156
2.9302	1134	0.171
2.9328	1135	0.0958
2.9354	1136	0.2148
2.9380	1137	0.1514
2.9406	1138	0.1491
2.9432	1139	0.1478
2.9457	1140	0.0833
2.9483	1141	0.0822
2.9509	1142	0.1612
2.9535	1143	0.2068
2.9561	1144	0.155
2.9587	1145	0.1877
2.9612	1146	0.1337
2.9638	1147	0.093
2.9664	1148	0.1539
2.9690	1149	0.1659
2.9716	1150	0.0969
2.9742	1151	0.1403
2.9767	1152	0.2031
2.9793	1153	0.1759
2.9819	1154	0.1254
2.9845	1155	0.1242
2.9871	1156	0.1754
2.9897	1157	0.0967
2.9922	1158	0.1602
2.9948	1159	0.1087
2.9974	1160	0.1776
3.0	1161	0.0722

Framework Versions

Python: 3.10.13
Sentence Transformers: 3.2.1
Transformers: 4.44.2
PyTorch: 2.4.0+cu121
Accelerate: 1.1.1
Datasets: 2.21.0
Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

bibtex

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}