This is a sentence-transformers model finetuned from Alibaba-NLP/gte-multilingual-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: Alibaba-NLP/gte-multilingual-base
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 tokens
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("seongil-dn/gte-neg-bs320-5e-5-1000")
# Run inference
sentences = [
    '안정적인 경제성장과 소비 증가 등 능력을 키우고 있으며 인구 6억 3000만 명의 거대 경제권으로 구성된 동남아시아 단체는 뭐지',
    '2008년 금융위기 이후 세계경제의 전반적 침체는 수출주도 성장을 지속해온 우리나라 경제에 위기를 가져왔다. 우리 경제는 위기 극복을 위해 내수시장 활성화 등의 정책을 제시하고 있으나, 아직까지 뚜렷한 반전의 모멘텀을 찾지 못한 것으로 판단된다. 그러므로 대외의존도가 높은 우리나라의 경제구조하에서 위기 극복은 수출 및 무역의 확대를 통해 이루어져야 한다. 이러한 측면에서 볼 때 최근 ASEAN 경제 통합 강화 흐름은 활용 여하에 따라 우리가 처한 경제 위기를 극복할 수 있는 하나의 단초를 제공할 수 있다. 동남아시아 10개 국가로 구성된 아세안은 인구 6억 3,000만명의 거대 경제권으로 최근 안정적인 경제성장, 중산층 확대에 따른 소비증대, 젊은층의 비중이 높은 인구학적 장점 등은 시장 및 생산기반으로서의 잠재력을 점증시키고 있다.',
    '중국의 창지투개발계획 등 동북지역 개발전략은 동북아에서 실질적으로 개발협력의 기회를 제공한다는 점에서 중요한 의미를 가진다. 중국 동북지역은 인구가 1억명을 초과하고, 세계 20위권국가 규모에 해당하는 8,000억 달러의 GDP(2012년)와 높은 경제성장률을 보이고 있는 지역으로 최근 러시아 극동지역과 한반도 북부를 포함하는 동북아 지역개발의 실질적인 중심역할을 하고 있다. 북한은 두만강유역에서의 개발을 추진할 능력을 보유하지 못하고 있고, 러시아는 비록 동북아에서의 전략적 지위 확보에 관심이 있지만 실질적인 개발투자를 실행할 능력은 보유하고 있지 못하며, 남한도 동북아지역의 개발을 주도할 만한 전략과 자금력을 갖추고 있지 못하다는 점에서 중국 주도의 두만강유역 개발을 부정적으로만 평가할 수 없는 상황이라 할 수 있다. 따라서, 한국은 중국 및 러시아와 두만강유역에서의 적극적 협력을 통해 남, 북, 중, 러 네 나라의 공동이익을 최대화하면서 한반도경제와 대륙경제의 통합을 위한 장기포석을 마련할 필요가 있다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 80
per_device_eval_batch_size: 80
warmup_steps: 100
bf16: True

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 80
per_device_eval_batch_size: 80
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 3
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.0
warmup_steps: 100
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: True
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
eval_use_gather_object: False
batch_sampler: batch_sampler
multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0007	1	0.6586
0.0013	2	0.6342
0.0020	3	0.6724
0.0027	4	0.697
0.0033	5	0.657
0.0040	6	0.5993
0.0046	7	0.68
0.0053	8	0.6296
0.0060	9	0.7052
0.0066	10	0.6982
0.0073	11	0.6726
0.0080	12	0.6552
0.0086	13	0.6707
0.0093	14	0.6253
0.0099	15	0.6869
0.0106	16	0.6612
0.0113	17	0.66
0.0119	18	0.6964
0.0126	19	0.6654
0.0133	20	0.669
0.0139	21	0.6045
0.0146	22	0.6441
0.0153	23	0.6053
0.0159	24	0.6318
0.0166	25	0.6073
0.0172	26	0.6288
0.0179	27	0.5385
0.0186	28	0.5787
0.0192	29	0.5824
0.0199	30	0.5535
0.0206	31	0.5498
0.0212	32	0.5915
0.0219	33	0.5458
0.0225	34	0.4879
0.0232	35	0.4858
0.0239	36	0.4651
0.0245	37	0.5266
0.0252	38	0.4629
0.0259	39	0.4618
0.0265	40	0.4657
0.0272	41	0.4514
0.0279	42	0.477
0.0285	43	0.395
0.0292	44	0.4078
0.0298	45	0.4812
0.0305	46	0.4056
0.0312	47	0.3871
0.0318	48	0.4371
0.0325	49	0.3622
0.0332	50	0.3433
0.0338	51	0.3659
0.0345	52	0.3752
0.0351	53	0.354
0.0358	54	0.3869
0.0365	55	0.3168
0.0371	56	0.3576
0.0378	57	0.3096
0.0385	58	0.3043
0.0391	59	0.3192
0.0398	60	0.2984
0.0405	61	0.3342
0.0411	62	0.3186
0.0418	63	0.2638
0.0424	64	0.2813
0.0431	65	0.323
0.0438	66	0.2617
0.0444	67	0.2497
0.0451	68	0.2694
0.0458	69	0.2684
0.0464	70	0.2875
0.0471	71	0.2759
0.0477	72	0.261
0.0484	73	0.2537
0.0491	74	0.2294
0.0497	75	0.2082
0.0504	76	0.2253
0.0511	77	0.2389
0.0517	78	0.2072
0.0524	79	0.259
0.0531	80	0.2115
0.0537	81	0.2226
0.0544	82	0.1994
0.0550	83	0.2424
0.0557	84	0.232
0.0564	85	0.2316
0.0570	86	0.2015
0.0577	87	0.2147
0.0584	88	0.2239
0.0590	89	0.2284
0.0597	90	0.2279
0.0603	91	0.2163
0.0610	92	0.1895
0.0617	93	0.1955
0.0623	94	0.2175
0.0630	95	0.1966
0.0637	96	0.2441
0.0643	97	0.2131
0.0650	98	0.237
0.0656	99	0.2204
0.0663	100	0.2301
0.0670	101	0.2592
0.0676	102	0.2242
0.0683	103	0.1647
0.0690	104	0.1974
0.0696	105	0.1918
0.0703	106	0.1961
0.0710	107	0.2344
0.0716	108	0.2616
0.0723	109	0.1813
0.0729	110	0.181
0.0736	111	0.2045
0.0743	112	0.2018
0.0749	113	0.2022
0.0756	114	0.182
0.0763	115	0.205
0.0769	116	0.1964
0.0776	117	0.1752
0.0782	118	0.1688
0.0789	119	0.2009
0.0796	120	0.1656
0.0802	121	0.1829
0.0809	122	0.1883
0.0816	123	0.1837
0.0822	124	0.1918
0.0829	125	0.2356
0.0836	126	0.1985
0.0842	127	0.148
0.0849	128	0.2113
0.0855	129	0.2067
0.0862	130	0.1708
0.0869	131	0.1811
0.0875	132	0.2077
0.0882	133	0.176
0.0889	134	0.1728
0.0895	135	0.2019
0.0902	136	0.1793
0.0908	137	0.1838
0.0915	138	0.1819
0.0922	139	0.1953
0.0928	140	0.1803
0.0935	141	0.1871
0.0942	142	0.2002
0.0948	143	0.2085
0.0955	144	0.164
0.0962	145	0.1886
0.0968	146	0.1814
0.0975	147	0.1801
0.0981	148	0.2046
0.0988	149	0.1829
0.0995	150	0.2409
0.1001	151	0.2051
0.1008	152	0.1791
0.1015	153	0.1738
0.1021	154	0.1972
0.1028	155	0.1674
0.1034	156	0.1743
0.1041	157	0.1784
0.1048	158	0.1728
0.1054	159	0.1648
0.1061	160	0.1597
0.1068	161	0.1476
0.1074	162	0.2036
0.1081	163	0.1591
0.1088	164	0.1471
0.1094	165	0.2037
0.1101	166	0.172
0.1107	167	0.1892
0.1114	168	0.1691
0.1121	169	0.1725
0.1127	170	0.1719
0.1134	171	0.2146
0.1141	172	0.162
0.1147	173	0.1972
0.1154	174	0.2149
0.1160	175	0.197
0.1167	176	0.1786
0.1174	177	0.1904
0.1180	178	0.1491
0.1187	179	0.2163
0.1194	180	0.1741
0.1200	181	0.1564
0.1207	182	0.1577
0.1214	183	0.1923
0.1220	184	0.1492
0.1227	185	0.1421
0.1233	186	0.1939
0.1240	187	0.1613
0.1247	188	0.1675
0.1253	189	0.1751
0.1260	190	0.2026
0.1267	191	0.2061
0.1273	192	0.1848
0.1280	193	0.1647
0.1286	194	0.1674
0.1293	195	0.1686
0.1300	196	0.1657
0.1306	197	0.1594
0.1313	198	0.1717
0.1320	199	0.1724
0.1326	200	0.1785
0.1333	201	0.195
0.1340	202	0.1678
0.1346	203	0.1819
0.1353	204	0.1544
0.1359	205	0.1588
0.1366	206	0.1874
0.1373	207	0.1476
0.1379	208	0.1879
0.1386	209	0.2016
0.1393	210	0.1687
0.1399	211	0.1813
0.1406	212	0.1486
0.1412	213	0.1789
0.1419	214	0.1789
0.1426	215	0.1659
0.1432	216	0.1796
0.1439	217	0.1343
0.1446	218	0.156
0.1452	219	0.2493
0.1459	220	0.1642
0.1466	221	0.1898
0.1472	222	0.1941
0.1479	223	0.1472
0.1485	224	0.1587
0.1492	225	0.1672
0.1499	226	0.2136
0.1505	227	0.1525
0.1512	228	0.1812
0.1519	229	0.1795
0.1525	230	0.2038
0.1532	231	0.1741
0.1538	232	0.1738
0.1545	233	0.1837
0.1552	234	0.1684
0.1558	235	0.1714
0.1565	236	0.163
0.1572	237	0.1821
0.1578	238	0.2023
0.1585	239	0.1699
0.1592	240	0.1758
0.1598	241	0.1864
0.1605	242	0.1417
0.1611	243	0.1925
0.1618	244	0.1742
0.1625	245	0.1462
0.1631	246	0.1569
0.1638	247	0.192
0.1645	248	0.1698
0.1651	249	0.1934
0.1658	250	0.2018
0.1664	251	0.164
0.1671	252	0.1359
0.1678	253	0.1963
0.1684	254	0.1888
0.1691	255	0.1725
0.1698	256	0.1814
0.1704	257	0.1815
0.1711	258	0.1673
0.1718	259	0.1751
0.1724	260	0.1725
0.1731	261	0.207
0.1737	262	0.1827
0.1744	263	0.1755
0.1751	264	0.1541
0.1757	265	0.1822
0.1764	266	0.1863
0.1771	267	0.1591
0.1777	268	0.2115
0.1784	269	0.1397
0.1790	270	0.1835
0.1797	271	0.1637
0.1804	272	0.1803
0.1810	273	0.1446
0.1817	274	0.1914
0.1824	275	0.1642
0.1830	276	0.1537
0.1837	277	0.1639
0.1844	278	0.1961
0.1850	279	0.1392
0.1857	280	0.1644
0.1863	281	0.1802
0.1870	282	0.1483
0.1877	283	0.1611
0.1883	284	0.1617
0.1890	285	0.1523
0.1897	286	0.2163
0.1903	287	0.1801
0.1910	288	0.162
0.1916	289	0.1845
0.1923	290	0.1683
0.1930	291	0.1664
0.1936	292	0.1571
0.1943	293	0.141
0.1950	294	0.168
0.1956	295	0.1879
0.1963	296	0.1566
0.1969	297	0.1592
0.1976	298	0.1592
0.1983	299	0.1829
0.1989	300	0.145
0.1996	301	0.1778
0.2003	302	0.1477
0.2009	303	0.169
0.2016	304	0.1498
0.2023	305	0.1663
0.2029	306	0.1726
0.2036	307	0.1579
0.2042	308	0.1665
0.2049	309	0.1779
0.2056	310	0.1581
0.2062	311	0.168
0.2069	312	0.1883
0.2076	313	0.1418
0.2082	314	0.123
0.2089	315	0.1688
0.2095	316	0.1573
0.2102	317	0.1902
0.2109	318	0.1524
0.2115	319	0.1767
0.2122	320	0.1516
0.2129	321	0.1454
0.2135	322	0.1803
0.2142	323	0.1475
0.2149	324	0.1442
0.2155	325	0.1488
0.2162	326	0.1638
0.2168	327	0.1608
0.2175	328	0.1525
0.2182	329	0.1929
0.2188	330	0.1932
0.2195	331	0.171
0.2202	332	0.1769
0.2208	333	0.122
0.2215	334	0.1556
0.2221	335	0.155
0.2228	336	0.1749
0.2235	337	0.1539
0.2241	338	0.166
0.2248	339	0.1552
0.2255	340	0.1924
0.2261	341	0.1437
0.2268	342	0.1501
0.2275	343	0.1688
0.2281	344	0.1639
0.2288	345	0.154
0.2294	346	0.1346
0.2301	347	0.1771
0.2308	348	0.1403
0.2314	349	0.1958
0.2321	350	0.1482
0.2328	351	0.1622
0.2334	352	0.1493
0.2341	353	0.135
0.2347	354	0.167
0.2354	355	0.1544
0.2361	356	0.1763
0.2367	357	0.1783
0.2374	358	0.1724
0.2381	359	0.153
0.2387	360	0.1516
0.2394	361	0.1353
0.2401	362	0.1623
0.2407	363	0.1794
0.2414	364	0.1495
0.2420	365	0.1562
0.2427	366	0.1887
0.2434	367	0.1577
0.2440	368	0.1501
0.2447	369	0.156
0.2454	370	0.1869
0.2460	371	0.1649
0.2467	372	0.128
0.2473	373	0.1569
0.2480	374	0.1598
0.2487	375	0.146
0.2493	376	0.1404
0.25	377	0.1441
0.2507	378	0.1738
0.2513	379	0.1358
0.2520	380	0.1828
0.2527	381	0.1952
0.2533	382	0.1575
0.2540	383	0.1582
0.2546	384	0.1729
0.2553	385	0.199
0.2560	386	0.1673
0.2566	387	0.1369
0.2573	388	0.1232
0.2580	389	0.167
0.2586	390	0.1838
0.2593	391	0.1593
0.2599	392	0.1724
0.2606	393	0.1795
0.2613	394	0.195
0.2619	395	0.1255
0.2626	396	0.157
0.2633	397	0.1512
0.2639	398	0.1472
0.2646	399	0.1846
0.2653	400	0.1793
0.2659	401	0.1451
0.2666	402	0.1979
0.2672	403	0.1612
0.2679	404	0.1481
0.2686	405	0.159
0.2692	406	0.125
0.2699	407	0.1808
0.2706	408	0.1722
0.2712	409	0.1838
0.2719	410	0.1523
0.2725	411	0.1686
0.2732	412	0.1659
0.2739	413	0.1474
0.2745	414	0.1498
0.2752	415	0.1775
0.2759	416	0.1258
0.2765	417	0.1594
0.2772	418	0.1574
0.2779	419	0.1879
0.2785	420	0.1455
0.2792	421	0.1745
0.2798	422	0.164
0.2805	423	0.1375
0.2812	424	0.163
0.2818	425	0.1338
0.2825	426	0.1933
0.2832	427	0.1464
0.2838	428	0.1534
0.2845	429	0.1407
0.2851	430	0.1574
0.2858	431	0.1379
0.2865	432	0.1525
0.2871	433	0.1533
0.2878	434	0.1646
0.2885	435	0.16
0.2891	436	0.1676
0.2898	437	0.1352
0.2905	438	0.1571
0.2911	439	0.1721
0.2918	440	0.1574
0.2924	441	0.1369
0.2931	442	0.1477
0.2938	443	0.1819
0.2944	444	0.1698
0.2951	445	0.1885
0.2958	446	0.1412
0.2964	447	0.1522
0.2971	448	0.171
0.2977	449	0.1673
0.2984	450	0.1413
0.2991	451	0.1436
0.2997	452	0.1618
0.3004	453	0.1869
0.3011	454	0.1527
0.3017	455	0.1392
0.3024	456	0.1651
0.3031	457	0.1597
0.3037	458	0.1931
0.3044	459	0.1726
0.3050	460	0.208
0.3057	461	0.1488
0.3064	462	0.1361
0.3070	463	0.169
0.3077	464	0.1576
0.3084	465	0.1777
0.3090	466	0.1475
0.3097	467	0.1574
0.3103	468	0.1778
0.3110	469	0.1503
0.3117	470	0.1509
0.3123	471	0.1686
0.3130	472	0.1445
0.3137	473	0.1562
0.3143	474	0.1554
0.3150	475	0.1494
0.3156	476	0.1376
0.3163	477	0.1409
0.3170	478	0.1821
0.3176	479	0.144
0.3183	480	0.196
0.3190	481	0.1643
0.3196	482	0.1797
0.3203	483	0.1525
0.3210	484	0.1532
0.3216	485	0.1642
0.3223	486	0.1552
0.3229	487	0.151
0.3236	488	0.1689
0.3243	489	0.1379
0.3249	490	0.1493
0.3256	491	0.143
0.3263	492	0.1344
0.3269	493	0.1635
0.3276	494	0.1583
0.3282	495	0.1413
0.3289	496	0.1541
0.3296	497	0.1406
0.3302	498	0.1869
0.3309	499	0.1212
0.3316	500	0.1671
0.3322	501	0.1458
0.3329	502	0.1581
0.3336	503	0.143
0.3342	504	0.1623
0.3349	505	0.1499
0.3355	506	0.1613
0.3362	507	0.1778
0.3369	508	0.145
0.3375	509	0.1725
0.3382	510	0.1446
0.3389	511	0.1301
0.3395	512	0.146
0.3402	513	0.1352
0.3408	514	0.1462
0.3415	515	0.1585
0.3422	516	0.1566
0.3428	517	0.128
0.3435	518	0.1547
0.3442	519	0.1532
0.3448	520	0.1522
0.3455	521	0.1277
0.3462	522	0.1482
0.3468	523	0.1356
0.3475	524	0.1564
0.3481	525	0.1525
0.3488	526	0.1639
0.3495	527	0.1377
0.3501	528	0.1811
0.3508	529	0.1376
0.3515	530	0.1371
0.3521	531	0.1379
0.3528	532	0.1612
0.3534	533	0.1484
0.3541	534	0.1314
0.3548	535	0.1654
0.3554	536	0.132
0.3561	537	0.1285
0.3568	538	0.1697
0.3574	539	0.1517
0.3581	540	0.1489
0.3588	541	0.1494
0.3594	542	0.1823
0.3601	543	0.1623
0.3607	544	0.1699
0.3614	545	0.1822
0.3621	546	0.1245
0.3627	547	0.1508
0.3634	548	0.1662
0.3641	549	0.1954
0.3647	550	0.1198
0.3654	551	0.1268
0.3660	552	0.1751
0.3667	553	0.1451
0.3674	554	0.1522
0.3680	555	0.1558
0.3687	556	0.1357
0.3694	557	0.1688
0.3700	558	0.1448
0.3707	559	0.1713
0.3714	560	0.1427
0.3720	561	0.1594
0.3727	562	0.1596
0.3733	563	0.1762
0.3740	564	0.1453
0.3747	565	0.1397
0.3753	566	0.1664
0.3760	567	0.1493
0.3767	568	0.1467
0.3773	569	0.1393
0.3780	570	0.1463
0.3786	571	0.1551
0.3793	572	0.1962
0.3800	573	0.1681
0.3806	574	0.1759
0.3813	575	0.1948
0.3820	576	0.1732
0.3826	577	0.1707
0.3833	578	0.1243
0.3840	579	0.1754
0.3846	580	0.1582
0.3853	581	0.1565
0.3859	582	0.148
0.3866	583	0.1528
0.3873	584	0.1478
0.3879	585	0.1363
0.3886	586	0.1578
0.3893	587	0.1648
0.3899	588	0.1619
0.3906	589	0.1471
0.3912	590	0.1552
0.3919	591	0.1432
0.3926	592	0.1418
0.3932	593	0.1765
0.3939	594	0.1712
0.3946	595	0.1697
0.3952	596	0.1545
0.3959	597	0.177
0.3966	598	0.1194
0.3972	599	0.1789
0.3979	600	0.1403
0.3985	601	0.1357
0.3992	602	0.1588
0.3999	603	0.1471
0.4005	604	0.1593
0.4012	605	0.1507
0.4019	606	0.1458
0.4025	607	0.1384
0.4032	608	0.1494
0.4038	609	0.1185
0.4045	610	0.164
0.4052	611	0.1696
0.4058	612	0.1629
0.4065	613	0.1511
0.4072	614	0.1295
0.4078	615	0.1583
0.4085	616	0.1277
0.4092	617	0.1538
0.4098	618	0.162
0.4105	619	0.1394
0.4111	620	0.1504
0.4118	621	0.1511
0.4125	622	0.1783
0.4131	623	0.1285
0.4138	624	0.1371
0.4145	625	0.1655
0.4151	626	0.1374
0.4158	627	0.1299
0.4164	628	0.1567
0.4171	629	0.1436
0.4178	630	0.1519
0.4184	631	0.1228
0.4191	632	0.1318
0.4198	633	0.1523
0.4204	634	0.1436
0.4211	635	0.1596
0.4218	636	0.1582
0.4224	637	0.1529
0.4231	638	0.1487
0.4237	639	0.1086
0.4244	640	0.1371
0.4251	641	0.1579
0.4257	642	0.1484
0.4264	643	0.1621
0.4271	644	0.1618
0.4277	645	0.136
0.4284	646	0.1313
0.4290	647	0.1465
0.4297	648	0.1926
0.4304	649	0.1722
0.4310	650	0.1301
0.4317	651	0.1497
0.4324	652	0.1765
0.4330	653	0.148
0.4337	654	0.1544
0.4344	655	0.1641
0.4350	656	0.142
0.4357	657	0.1528
0.4363	658	0.1589
0.4370	659	0.1318
0.4377	660	0.143
0.4383	661	0.1523
0.4390	662	0.1448
0.4397	663	0.1473
0.4403	664	0.1137
0.4410	665	0.1481
0.4416	666	0.1701
0.4423	667	0.1663
0.4430	668	0.1602
0.4436	669	0.188
0.4443	670	0.1723
0.4450	671	0.183
0.4456	672	0.1696
0.4463	673	0.1291
0.4469	674	0.1377
0.4476	675	0.1779
0.4483	676	0.1614
0.4489	677	0.1361
0.4496	678	0.1553
0.4503	679	0.1487
0.4509	680	0.1495
0.4516	681	0.1445
0.4523	682	0.1394
0.4529	683	0.1329
0.4536	684	0.136
0.4542	685	0.1543
0.4549	686	0.1387
0.4556	687	0.1457
0.4562	688	0.1453
0.4569	689	0.1439
0.4576	690	0.1501
0.4582	691	0.1585
0.4589	692	0.1753
0.4595	693	0.1313
0.4602	694	0.1305
0.4609	695	0.144
0.4615	696	0.1553
0.4622	697	0.1543
0.4629	698	0.1569
0.4635	699	0.1515
0.4642	700	0.1532
0.4649	701	0.161
0.4655	702	0.1229
0.4662	703	0.1695
0.4668	704	0.1503
0.4675	705	0.1529
0.4682	706	0.1465
0.4688	707	0.1927
0.4695	708	0.1549
0.4702	709	0.1487
0.4708	710	0.1425
0.4715	711	0.1569
0.4721	712	0.1455
0.4728	713	0.1556
0.4735	714	0.1441
0.4741	715	0.1449
0.4748	716	0.1752
0.4755	717	0.177
0.4761	718	0.1621
0.4768	719	0.1697
0.4775	720	0.1843
0.4781	721	0.1858
0.4788	722	0.1526
0.4794	723	0.1391
0.4801	724	0.1421
0.4808	725	0.1563
0.4814	726	0.1562
0.4821	727	0.1783
0.4828	728	0.1553
0.4834	729	0.1513
0.4841	730	0.1686
0.4847	731	0.1467
0.4854	732	0.1902
0.4861	733	0.1607
0.4867	734	0.1259
0.4874	735	0.1559
0.4881	736	0.1611
0.4887	737	0.1529
0.4894	738	0.197
0.4901	739	0.124
0.4907	740	0.1382
0.4914	741	0.1277
0.4920	742	0.1247
0.4927	743	0.1399
0.4934	744	0.1676
0.4940	745	0.1403
0.4947	746	0.1258
0.4954	747	0.1515
0.4960	748	0.1464
0.4967	749	0.1598
0.4973	750	0.1587
0.4980	751	0.1852
0.4987	752	0.1101
0.4993	753	0.1484
0.5	754	0.1499
0.5007	755	0.1234
0.5013	756	0.1408
0.5020	757	0.1387
0.5027	758	0.1285
0.5033	759	0.1236
0.5040	760	0.1543
0.5046	761	0.133
0.5053	762	0.132
0.5060	763	0.1376
0.5066	764	0.1332
0.5073	765	0.1588
0.5080	766	0.1195
0.5086	767	0.129
0.5093	768	0.1419
0.5099	769	0.1334
0.5106	770	0.152
0.5113	771	0.1767
0.5119	772	0.1538
0.5126	773	0.1434
0.5133	774	0.1506
0.5139	775	0.1356
0.5146	776	0.1491
0.5153	777	0.1665
0.5159	778	0.1561
0.5166	779	0.1398
0.5172	780	0.1591
0.5179	781	0.1375
0.5186	782	0.1512
0.5192	783	0.1462
0.5199	784	0.1539
0.5206	785	0.154
0.5212	786	0.1378
0.5219	787	0.1341
0.5225	788	0.1888
0.5232	789	0.1413
0.5239	790	0.171
0.5245	791	0.1357
0.5252	792	0.1621
0.5259	793	0.1629
0.5265	794	0.1315
0.5272	795	0.1517
0.5279	796	0.1221
0.5285	797	0.1528
0.5292	798	0.152
0.5298	799	0.1105
0.5305	800	0.1638
0.5312	801	0.1464
0.5318	802	0.1473
0.5325	803	0.1184
0.5332	804	0.1859
0.5338	805	0.141
0.5345	806	0.1408
0.5351	807	0.1136
0.5358	808	0.1531
0.5365	809	0.1398
0.5371	810	0.1681
0.5378	811	0.1521
0.5385	812	0.1484
0.5391	813	0.1545
0.5398	814	0.1768
0.5405	815	0.1471
0.5411	816	0.1413
0.5418	817	0.1349
0.5424	818	0.141
0.5431	819	0.1634
0.5438	820	0.1419
0.5444	821	0.153
0.5451	822	0.166
0.5458	823	0.1491
0.5464	824	0.1363
0.5471	825	0.1667
0.5477	826	0.1605
0.5484	827	0.1481
0.5491	828	0.1731
0.5497	829	0.1626
0.5504	830	0.1628
0.5511	831	0.1554
0.5517	832	0.1213
0.5524	833	0.1461
0.5531	834	0.1787
0.5537	835	0.1714
0.5544	836	0.159
0.5550	837	0.1605
0.5557	838	0.1622
0.5564	839	0.1502
0.5570	840	0.1629
0.5577	841	0.1468
0.5584	842	0.1479
0.5590	843	0.1281
0.5597	844	0.1478
0.5603	845	0.1497
0.5610	846	0.1516
0.5617	847	0.1434
0.5623	848	0.1397
0.5630	849	0.1153
0.5637	850	0.1787
0.5643	851	0.1342
0.5650	852	0.139
0.5656	853	0.142
0.5663	854	0.1438
0.5670	855	0.1596
0.5676	856	0.1263
0.5683	857	0.1506
0.5690	858	0.1338
0.5696	859	0.1481
0.5703	860	0.1599
0.5710	861	0.1516
0.5716	862	0.1305
0.5723	863	0.1355
0.5729	864	0.1408
0.5736	865	0.1712
0.5743	866	0.1473
0.5749	867	0.1337
0.5756	868	0.1336
0.5763	869	0.1501
0.5769	870	0.1387
0.5776	871	0.1618
0.5782	872	0.147
0.5789	873	0.1617
0.5796	874	0.1403
0.5802	875	0.1548
0.5809	876	0.1265
0.5816	877	0.1286
0.5822	878	0.1439
0.5829	879	0.1589
0.5836	880	0.1584
0.5842	881	0.1177
0.5849	882	0.1322
0.5855	883	0.1212
0.5862	884	0.1642
0.5869	885	0.1123
0.5875	886	0.1614
0.5882	887	0.1327
0.5889	888	0.1539
0.5895	889	0.1282
0.5902	890	0.1272
0.5908	891	0.1414
0.5915	892	0.1398
0.5922	893	0.1616
0.5928	894	0.1305
0.5935	895	0.1809
0.5942	896	0.1357
0.5948	897	0.1316
0.5955	898	0.1497
0.5962	899	0.1455
0.5968	900	0.1281
0.5975	901	0.157
0.5981	902	0.1655
0.5988	903	0.1311
0.5995	904	0.1492
0.6001	905	0.1346
0.6008	906	0.1898
0.6015	907	0.159
0.6021	908	0.1285
0.6028	909	0.1632
0.6034	910	0.1367
0.6041	911	0.1353
0.6048	912	0.1255
0.6054	913	0.1766
0.6061	914	0.1434
0.6068	915	0.1213
0.6074	916	0.1439
0.6081	917	0.1422
0.6088	918	0.1753
0.6094	919	0.1475
0.6101	920	0.1362
0.6107	921	0.1596
0.6114	922	0.1202
0.6121	923	0.1161
0.6127	924	0.1589
0.6134	925	0.1559
0.6141	926	0.1407
0.6147	927	0.1308
0.6154	928	0.1643
0.6160	929	0.1427
0.6167	930	0.1409
0.6174	931	0.1291
0.6180	932	0.1336
0.6187	933	0.1631
0.6194	934	0.1472
0.6200	935	0.1397
0.6207	936	0.1407
0.6214	937	0.1336
0.6220	938	0.1456
0.6227	939	0.1073
0.6233	940	0.1426
0.6240	941	0.1459
0.6247	942	0.127
0.6253	943	0.1466
0.6260	944	0.1424
0.6267	945	0.1318
0.6273	946	0.136
0.6280	947	0.1577
0.6286	948	0.1168
0.6293	949	0.1346
0.6300	950	0.1666
0.6306	951	0.1474
0.6313	952	0.1162
0.6320	953	0.12
0.6326	954	0.1148
0.6333	955	0.132
0.6340	956	0.1709
0.6346	957	0.1416
0.6353	958	0.141
0.6359	959	0.1301
0.6366	960	0.1333
0.6373	961	0.1362
0.6379	962	0.1381
0.6386	963	0.1804
0.6393	964	0.1333
0.6399	965	0.1586
0.6406	966	0.1711
0.6412	967	0.1472
0.6419	968	0.1512
0.6426	969	0.1465
0.6432	970	0.1601
0.6439	971	0.1434
0.6446	972	0.1319
0.6452	973	0.1992
0.6459	974	0.1389
0.6466	975	0.1822
0.6472	976	0.1606
0.6479	977	0.1896
0.6485	978	0.136
0.6492	979	0.1368
0.6499	980	0.1367
0.6505	981	0.1278
0.6512	982	0.1473
0.6519	983	0.1482
0.6525	984	0.1461
0.6532	985	0.1822
0.6538	986	0.1436
0.6545	987	0.1549
0.6552	988	0.1194
0.6558	989	0.1082
0.6565	990	0.1398
0.6572	991	0.113
0.6578	992	0.1376
0.6585	993	0.1849
0.6592	994	0.1665
0.6598	995	0.1503
0.6605	996	0.1498
0.6611	997	0.1335
0.6618	998	0.1348
0.6625	999	0.1507
0.6631	1000	0.1366

Framework Versions

Python: 3.10.12
Sentence Transformers: 3.2.1
Transformers: 4.44.2
PyTorch: 2.3.1+cu121
Accelerate: 1.1.1
Datasets: 2.21.0
Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

bibtex

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}