This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: BAAI/bge-m3
Maximum Sequence Length: 1024 tokens
Output Dimensionality: 1024 tokens
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 1024, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("seongil-dn/bge-m3-kor-retrieval-bs128-checkpoint-942")
# Run inference
sentences = [
    '전남지역의 석유와 화학제품은 왜 수출이 늘어나는 경향을 보였어',
    '(2) 전남지역\n2013년중 전남지역 수출은 전년대비 1.2% 감소로 전환하였다. 품목별로는 석유(+9.3% → +3.8%) 및 화학제품(+1.2% → +7.1%)이 중국 등 해외수요확대로 증가세를 지속하였으나 철강금속(+1.8% → -8.6%)은 글로벌 공급과잉 및 중국의 저가 철강수출 확대로, 선박(+7.6% → -49.2%)은 수주물량이 급격히 줄어들면서 감소로 전환하였다. 전남지역 수입은 원유, 화학제품, 철강금속 등의 수입이 줄면서 전년대비 7.4% 감소로 전환하였다.',
    '수출 증가세 지속\n1/4분기 중 수출은 전년동기대비 증가흐름을 지속하였다. 품목별로 보면 석유제품, 석유화학, 철강, 선박, 반도체, 자동차 등 대다수 품목에서 증가하였다. 석유제품은 글로벌 경기회복에 따른 에너지 수요 증가와 국제유가 급등으로 수출단가가 높은 상승세를 지속하면서 증가하였다. 석유화학도 중국, 아세안을 중심으로 합성수지, 고무 등의 수출이 큰 폭 증가한 데다 고유가로 인한 수출가격도 동반 상승하면서 증가세를 이어갔다. 철강은 건설, 조선 등 글로벌 전방산업의 수요 증대, 원자재가격 상승 및 중국 감산 등에 따른 수출단가 상승 등에 힘입어 증가세를 이어갔다. 선박은 1/4분기 중 인도물량이 확대됨에 따라 증가하였다. 반도체는 자동차 등 전방산업의 견조한 수요가 이어지는 가운데 전년동기대비로 높은 단가가 지속되면서 증가하였다. 자동차는 차량용 반도체 수급차질이 지속되었음에도 불구하고 글로벌 경기회복 흐름에 따라 수요가 늘어나면서 전년동기대비 소폭 증가하였다. 모니터링 결과 향후 수출은 증가세가 지속될 것으로 전망되었다. 석유화학 및 석유정제는 수출단가 상승과 전방산업의 수요확대 기조가 이어지면서 증가할 전망이다. 철강은 주요국 경기회복과 중국, 인도 등의 인프라 투자 확대 등으로 양호한 흐름을 이어갈 전망이다. 반도체는 글로벌 스마트폰 수요 회복, 디지털 전환 기조 등으로 견조한 증가세를 지속할 것으로 보인다. 자동차는 차량용 반도체 공급차질이 점차 완화되고 미국, 신흥시장을 중심으로 수요회복이 본격화됨에 따라 소폭 증가할 전망이다. 선박은 친환경 선박수요 지속, 글로별 교역 신장 등에도 불구하고 2021년 2/4분기 집중되었던 인도물량의 기저효과로 인해 감소할 것으로 보인다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 16
gradient_accumulation_steps: 4
learning_rate: 3e-05
num_train_epochs: 5
warmup_ratio: 0.05
fp16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 16
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 4
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 3e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 5
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.05
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: True
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
eval_use_gather_object: False
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0011	1	0.8341
0.0021	2	1.0166
0.0032	3	0.9211
0.0042	4	0.9691
0.0053	5	1.125
0.0064	6	1.0482
0.0074	7	1.0723
0.0085	8	0.8762
0.0095	9	0.8418
0.0106	10	0.8903
0.0117	11	0.836
0.0127	12	0.793
0.0138	13	0.7567
0.0149	14	0.7655
0.0159	15	0.6211
0.0170	16	0.5386
0.0180	17	0.8626
0.0191	18	0.7625
0.0202	19	0.8242
0.0212	20	0.7407
0.0223	21	0.7566
0.0233	22	0.732
0.0244	23	0.9182
0.0255	24	0.9062
0.0265	25	0.8974
0.0276	26	0.8435
0.0286	27	0.9853
0.0297	28	0.873
0.0308	29	0.8315
0.0318	30	0.8199
0.0329	31	0.8008
0.0339	32	0.8274
0.0350	33	0.8253
0.0361	34	0.7876
0.0371	35	0.7426
0.0382	36	0.673
0.0392	37	0.6449
0.0403	38	0.6409
0.0414	39	0.6433
0.0424	40	0.5225
0.0435	41	0.6376
0.0446	42	0.481
0.0456	43	0.4797
0.0467	44	0.3574
0.0477	45	0.4295
0.0488	46	0.4309
0.0499	47	0.2894
0.0509	48	0.2807
0.0520	49	0.2999
0.0530	50	0.4545
0.0541	51	0.4439
0.0552	52	0.3863
0.0562	53	0.4087
0.0573	54	0.3755
0.0583	55	0.1911
0.0594	56	0.1981
0.0605	57	0.1573
0.0615	58	0.1871
0.0626	59	0.1685
0.0636	60	0.1449
0.0647	61	0.1454
0.0658	62	0.4044
0.0668	63	0.5494
0.0679	64	0.4302
0.0689	65	0.4958
0.0700	66	0.4588
0.0711	67	0.5131
0.0721	68	0.5228
0.0732	69	0.6142
0.0743	70	0.5715
0.0753	71	0.6371
0.0764	72	0.5576
0.0774	73	0.6738
0.0785	74	0.5976
0.0796	75	0.5893
0.0806	76	0.536
0.0817	77	0.3585
0.0827	78	0.3952
0.0838	79	0.4002
0.0849	80	0.4096
0.0859	81	0.5608
0.0870	82	0.576
0.0880	83	0.5504
0.0891	84	0.4473
0.0902	85	0.5513
0.0912	86	0.4456
0.0923	87	0.3616
0.0933	88	0.3095
0.0944	89	0.36
0.0955	90	0.3519
0.0965	91	0.371
0.0976	92	0.3983
0.0986	93	0.4247
0.0997	94	0.4506
0.1008	95	0.3018
0.1018	96	0.3297
0.1029	97	0.4068
0.1040	98	0.4193
0.1050	99	0.3848
0.1061	100	0.4427
0.1071	101	0.4027
0.1082	102	0.3423
0.1093	103	0.3328
0.1103	104	0.2959
0.1114	105	0.2651
0.1124	106	0.2867
0.1135	107	0.2483
0.1146	108	0.2358
0.1156	109	0.238
0.1167	110	0.3582
0.1177	111	0.3198
0.1188	112	0.3416
0.1199	113	0.2493
0.1209	114	0.399
0.1220	115	0.2705
0.1230	116	0.4283
0.1241	117	0.2453
0.1252	118	0.4051
0.1262	119	0.4689
0.1273	120	0.541
0.1283	121	0.5689
0.1294	122	0.6007
0.1305	123	0.5881
0.1315	124	0.5972
0.1326	125	0.5676
0.1337	126	0.5887
0.1347	127	0.6295
0.1358	128	0.4957
0.1368	129	0.2438
0.1379	130	0.4221
0.1390	131	0.3979
0.1400	132	0.3613
0.1411	133	0.3293
0.1421	134	0.5636
0.1432	135	0.4417
0.1443	136	0.0825
0.1453	137	0.0893
0.1464	138	0.0862
0.1474	139	0.0641
0.1485	140	0.0664
0.1496	141	0.0525
0.1506	142	0.0508
0.1517	143	0.0476
0.1527	144	0.0508
0.1538	145	0.0622
0.1549	146	0.0643
0.1559	147	0.0513
0.1570	148	0.0415
0.1580	149	0.0516
0.1591	150	0.0333
0.1602	151	0.0445
0.1612	152	0.0331
0.1623	153	0.0374
0.1634	154	0.0399
0.1644	155	0.0352
0.1655	156	0.0391
0.1665	157	0.0349
0.1676	158	0.0294
0.1687	159	0.0388
0.1697	160	0.0468
0.1708	161	0.0447
0.1718	162	0.0426
0.1729	163	0.0397
0.1740	164	0.0354
0.1750	165	0.0389
0.1761	166	0.0354
0.1771	167	0.0416
0.1782	168	0.0487
0.1793	169	0.0372
0.1803	170	0.036
0.1814	171	0.034
0.1824	172	0.034
0.1835	173	0.0391
0.1846	174	0.0307
0.1856	175	0.0382
0.1867	176	0.0363
0.1877	177	0.0437
0.1888	178	0.0365
0.1899	179	0.0398
0.1909	180	0.0519
0.1920	181	0.0568
0.1931	182	0.0515
0.1941	183	0.0465
0.1952	184	0.0459
0.1962	185	0.0498
0.1973	186	0.0503
0.1984	187	0.0523
0.1994	188	0.0503
0.2005	189	0.0446
0.2015	190	0.0466
0.2026	191	0.0404
0.2037	192	0.037
0.2047	193	0.0387
0.2058	194	0.0396
0.2068	195	0.0447
0.2079	196	0.0355
0.2090	197	0.0307
0.2100	198	0.0438
0.2111	199	0.0516
0.2121	200	0.0471
0.2132	201	0.0407
0.2143	202	0.032
0.2153	203	0.0389
0.2164	204	0.0424
0.2174	205	0.0449
0.2185	206	0.0395
0.2196	207	0.0386
0.2206	208	0.0342
0.2217	209	0.0334
0.2228	210	0.0368
0.2238	211	0.0436
0.2249	212	0.0432
0.2259	213	0.0461
0.2270	214	0.0454
0.2281	215	0.0468
0.2291	216	0.0396
0.2302	217	0.037
0.2312	218	0.03
0.2323	219	0.0253
0.2334	220	0.0309
0.2344	221	0.0323
0.2355	222	0.0228
0.2365	223	0.0375
0.2376	224	0.0366
0.2387	225	0.0292
0.2397	226	0.0293
0.2408	227	0.0314
0.2418	228	0.0255
0.2429	229	0.0349
0.2440	230	0.0391
0.2450	231	0.0209
0.2461	232	0.0277
0.2471	233	0.0276
0.2482	234	0.0352
0.2493	235	0.0328
0.2503	236	0.026
0.2514	237	0.0277
0.2525	238	0.0305
0.2535	239	0.0346
0.2546	240	0.0293
0.2556	241	0.0339
0.2567	242	0.0401
0.2578	243	0.0257
0.2588	244	0.0363
0.2599	245	0.0308
0.2609	246	0.0542
0.2620	247	0.2199
0.2631	248	0.1689
0.2641	249	0.1434
0.2652	250	0.128
0.2662	251	0.1084
0.2673	252	0.1225
0.2684	253	0.1174
0.2694	254	0.1201
0.2705	255	0.1024
0.2715	256	0.0911
0.2726	257	0.1071
0.2737	258	0.0985
0.2747	259	0.0921
0.2758	260	0.1616
0.2768	261	0.121
0.2779	262	0.1064
0.2790	263	0.1105
0.2800	264	0.0845
0.2811	265	0.136
0.2822	266	0.0865
0.2832	267	0.1084
0.2843	268	0.075
0.2853	269	0.0718
0.2864	270	0.0887
0.2875	271	0.0767
0.2885	272	0.0706
0.2896	273	0.0617
0.2906	274	0.0584
0.2917	275	0.0584
0.2928	276	0.0612
0.2938	277	0.0727
0.2949	278	0.0731
0.2959	279	0.0489
0.2970	280	0.057
0.2981	281	0.0662
0.2991	282	0.0676
0.3002	283	0.0482
0.3012	284	0.0551
0.3023	285	0.0659
0.3034	286	0.0498
0.3044	287	0.0549
0.3055	288	0.0393
0.3065	289	0.0462
0.3076	290	0.0494
0.3087	291	0.0428
0.3097	292	0.0431
0.3108	293	0.0507
0.3119	294	0.0421
0.3129	295	0.0504
0.3140	296	0.0379
0.3150	297	0.0456
0.3161	298	0.0418
0.3172	299	0.0433
0.3182	300	0.0469
0.3193	301	0.0473
0.3203	302	0.0588
0.3214	303	0.0428
0.3225	304	0.0494
0.3235	305	0.053
0.3246	306	0.0574
0.3256	307	0.057
0.3267	308	0.0518
0.3278	309	0.0414
0.3288	310	0.0456
0.3299	311	0.0464
0.3309	312	0.0891
0.3320	313	0.09
0.3331	314	0.1011
0.3341	315	0.0668
0.3352	316	0.0682
0.3363	317	0.0716
0.3373	318	0.0536
0.3384	319	0.0512
0.3394	320	0.0583
0.3405	321	0.0539
0.3416	322	0.0607
0.3426	323	0.0487
0.3437	324	0.0616
0.3447	325	0.0485
0.3458	326	0.0645
0.3469	327	0.0472
0.3479	328	0.8462
0.3490	329	0.3472
0.3500	330	0.108
0.3511	331	0.0827
0.3522	332	0.0727
0.3532	333	0.082
0.3543	334	0.0766
0.3553	335	0.0804
0.3564	336	0.0743
0.3575	337	0.0689
0.3585	338	0.0695
0.3596	339	0.0708
0.3606	340	0.0739
0.3617	341	0.0794
0.3628	342	0.0748
0.3638	343	0.0969
0.3649	344	0.0814
0.3660	345	0.0974
0.3670	346	0.0784
0.3681	347	0.078
0.3691	348	0.0945
0.3702	349	0.1016
0.3713	350	0.0993
0.3723	351	0.1161
0.3734	352	0.1071
0.3744	353	0.0981
0.3755	354	0.0946
0.3766	355	0.0917
0.3776	356	0.1076
0.3787	357	0.0756
0.3797	358	0.0733
0.3808	359	0.0528
0.3819	360	0.0551
0.3829	361	0.0684
0.3840	362	0.073
0.3850	363	0.0718
0.3861	364	0.0672
0.3872	365	0.0878
0.3882	366	0.057
0.3893	367	0.0498
0.3903	368	0.0583
0.3914	369	0.0691
0.3925	370	0.0671
0.3935	371	0.0595
0.3946	372	0.0494
0.3957	373	0.0676
0.3967	374	0.0581
0.3978	375	0.044
0.3988	376	0.0656
0.3999	377	0.0484
0.4010	378	0.0597
0.4020	379	0.0717
0.4031	380	0.0447
0.4041	381	0.0825
0.4052	382	0.1297
0.4063	383	0.1127
0.4073	384	0.0791
0.4084	385	0.0842
0.4094	386	0.0777
0.4105	387	0.0787
0.4116	388	0.0926
0.4126	389	0.1106
0.4137	390	0.106
0.4147	391	0.0833
0.4158	392	0.0777
0.4169	393	0.0867
0.4179	394	0.0681
0.4190	395	0.0774
0.4200	396	0.0806
0.4211	397	0.0932
0.4222	398	0.0765
0.4232	399	0.086
0.4243	400	0.0663
0.4254	401	0.0833
0.4264	402	0.0978
0.4275	403	0.0607
0.4285	404	0.0703
0.4296	405	0.0954
0.4307	406	0.0763
0.4317	407	0.069
0.4328	408	0.085
0.4338	409	0.0788
0.4349	410	0.0662
0.4360	411	0.0661
0.4370	412	0.0687
0.4381	413	0.0692
0.4391	414	0.083
0.4402	415	0.0551
0.4413	416	0.0616
0.4423	417	0.0894
0.4434	418	0.058
0.4444	419	0.0489
0.4455	420	0.059
0.4466	421	0.0732
0.4476	422	0.0568
0.4487	423	0.0635
0.4497	424	0.0526
0.4508	425	0.0521
0.4519	426	0.0909
0.4529	427	0.0599
0.4540	428	0.0622
0.4551	429	0.056
0.4561	430	0.0738
0.4572	431	0.0832
0.4582	432	0.098
0.4593	433	0.115
0.4604	434	0.1045
0.4614	435	0.1022
0.4625	436	0.1069
0.4635	437	0.1331
0.4646	438	0.103
0.4657	439	0.1248
0.4667	440	0.0882
0.4678	441	0.0672
0.4688	442	0.9033
0.4699	443	0.9551
0.4710	444	0.6253
0.4720	445	0.3963
0.4731	446	0.2817
0.4741	447	0.241
0.4752	448	0.2031
0.4763	449	0.1835
0.4773	450	0.1686
0.4784	451	0.2295
0.4794	452	0.1949
0.4805	453	0.1619
0.4816	454	0.1488
0.4826	455	0.1723
0.4837	456	0.1788
0.4848	457	0.1428
0.4858	458	0.1839
0.4869	459	0.1752
0.4879	460	0.1232
0.4890	461	0.1525
0.4901	462	0.1265
0.4911	463	0.1217
0.4922	464	0.154
0.4932	465	0.1511
0.4943	466	0.1181
0.4954	467	0.1268
0.4964	468	0.1041
0.4975	469	0.1058
0.4985	470	0.1373
0.4996	471	0.1385
0.5007	472	0.113
0.5017	473	0.1014
0.5028	474	0.12
0.5038	475	0.1082
0.5049	476	0.106
0.5060	477	0.1498
0.5070	478	0.1784
0.5081	479	0.2298
0.5091	480	0.1953
0.5102	481	0.1858
0.5113	482	0.1049
0.5123	483	0.1174
0.5134	484	0.1051
0.5145	485	0.0867
0.5155	486	0.1077
0.5166	487	0.1139
0.5176	488	0.1211
0.5187	489	0.1367
0.5198	490	0.1211
0.5208	491	0.1289
0.5219	492	0.131
0.5229	493	0.1192
0.5240	494	0.1213
0.5251	495	0.1283
0.5261	496	0.1516
0.5272	497	0.1466
0.5282	498	0.1295
0.5293	499	0.1291
0.5304	500	0.1155
0.5314	501	0.121
0.5325	502	0.1172
0.5335	503	0.1454
0.5346	504	0.1482
0.5357	505	0.1622
0.5367	506	0.1365
0.5378	507	0.139
0.5388	508	0.1225
0.5399	509	0.1124
0.5410	510	0.1157
0.5420	511	0.1318
0.5431	512	0.1209
0.5442	513	0.0956
0.5452	514	0.0969
0.5463	515	0.1193
0.5473	516	0.1521
0.5484	517	0.1312
0.5495	518	0.1547
0.5505	519	0.1146
0.5516	520	0.1393
0.5526	521	0.152
0.5537	522	0.1153
0.5548	523	0.1387
0.5558	524	0.1424
0.5569	525	0.1179
0.5579	526	0.113
0.5590	527	0.1414
0.5601	528	0.132
0.5611	529	0.1373
0.5622	530	0.1096
0.5632	531	0.1513
0.5643	532	0.1442
0.5654	533	0.1124
0.5664	534	0.1157
0.5675	535	0.1073
0.5685	536	0.1457
0.5696	537	0.1002
0.5707	538	0.1344
0.5717	539	0.1261
0.5728	540	0.147
0.5739	541	0.1304
0.5749	542	0.136
0.5760	543	0.124
0.5770	544	0.1359
0.5781	545	0.1389
0.5792	546	0.1434
0.5802	547	0.1416
0.5813	548	0.1301
0.5823	549	0.1434
0.5834	550	0.1404
0.5845	551	0.1226
0.5855	552	0.144
0.5866	553	0.1393
0.5876	554	0.1338
0.5887	555	0.1528
0.5898	556	0.1334
0.5908	557	0.1883
0.5919	558	0.1125
0.5929	559	0.0758
0.5940	560	0.0777
0.5951	561	0.0683
0.5961	562	0.0624
0.5972	563	0.0893
0.5982	564	0.0733
0.5993	565	0.069
0.6004	566	0.0771
0.6014	567	0.0977
0.6025	568	0.0716
0.6036	569	0.0962
0.6046	570	0.0879
0.6057	571	0.1016
0.6067	572	0.0769
0.6078	573	0.0836
0.6089	574	0.0755
0.6099	575	0.0907
0.6110	576	0.098
0.6120	577	0.1059
0.6131	578	3.13
0.6142	579	3.1489
0.6152	580	1.3689
0.6163	581	0.9947
0.6173	582	0.3726
0.6184	583	0.1869
0.6195	584	0.1576
0.6205	585	0.1395
0.6216	586	0.1197
0.6226	587	0.1459
0.6237	588	0.1336
0.6248	589	0.1426
0.6258	590	0.1533
0.6269	591	0.1135
0.6280	592	0.0962
0.6290	593	0.0762
0.6301	594	0.0861
0.6311	595	0.0898
0.6322	596	0.1087
0.6333	597	0.0967
0.6343	598	0.089
0.6354	599	0.1079
0.6364	600	0.1012
0.6375	601	0.0958
0.6386	602	0.0875
0.6396	603	0.1056
0.6407	604	0.1079
0.6417	605	0.0999
0.6428	606	0.08
0.6439	607	0.0986
0.6449	608	0.0598
0.6460	609	0.1056
0.6470	610	0.0553
0.6481	611	0.0744
0.6492	612	0.1001
0.6502	613	0.0502
0.6513	614	0.0625
0.6523	615	0.0646
0.6534	616	0.0425
0.6545	617	0.0436
0.6555	618	0.0525
0.6566	619	0.0621
0.6577	620	0.0503
0.6587	621	0.0603
0.6598	622	0.0545
0.6608	623	0.0896
0.6619	624	0.106
0.6630	625	0.0827
0.6640	626	0.0532
0.6651	627	0.0527
0.6661	628	0.0347
0.6672	629	0.0579
0.6683	630	0.057
0.6693	631	0.045
0.6704	632	0.0408
0.6714	633	0.0551
0.6725	634	0.0571
0.6736	635	0.0402
0.6746	636	0.1098
0.6757	637	0.1807
0.6767	638	0.0807
0.6778	639	0.0353
0.6789	640	0.045
0.6799	641	0.0736
0.6810	642	0.1309
0.6820	643	0.0641
0.6831	644	0.0217
0.6842	645	0.0135
0.6852	646	0.0145
0.6863	647	0.0202
0.6874	648	0.0118
0.6884	649	0.0161
0.6895	650	0.0168
0.6905	651	1.175
0.6916	652	0.2746
0.6927	653	0.1602
0.6937	654	0.3404
0.6948	655	0.5712
0.6958	656	0.4851
0.6969	657	0.4677
0.6980	658	0.4876
0.6990	659	0.4552
0.7001	660	0.4922
0.7011	661	0.4416
0.7022	662	0.4804
0.7033	663	0.4977
0.7043	664	0.5099
0.7054	665	0.4014
0.7064	666	0.4581
0.7075	667	0.453
0.7086	668	0.4509
0.7096	669	0.4429
0.7107	670	0.4317
0.7117	671	0.3632
0.7128	672	0.4119
0.7139	673	0.3765
0.7149	674	0.4099
0.7160	675	0.422
0.7171	676	0.4272
0.7181	677	0.5233
0.7192	678	0.3437
0.7202	679	0.3299
0.7213	680	0.3396
0.7224	681	0.3927
0.7234	682	0.4296
0.7245	683	0.3888
0.7255	684	0.3554
0.7266	685	0.4019
0.7277	686	0.3285
0.7287	687	0.3729
0.7298	688	0.3843
0.7308	689	0.3812
0.7319	690	0.3515
0.7330	691	0.3019
0.7340	692	0.3472
0.7351	693	0.3036
0.7361	694	0.296
0.7372	695	0.3463
0.7383	696	0.2569
0.7393	697	0.2438
0.7404	698	0.2568
0.7414	699	0.2263
0.7425	700	0.2395
0.7436	701	0.3168
0.7446	702	0.216
0.7457	703	0.212
0.7468	704	0.2629
0.7478	705	0.2858
0.7489	706	0.254
0.7499	707	0.2559
0.7510	708	0.2395
0.7521	709	0.2277
0.7531	710	0.2311
0.7542	711	0.2535
0.7552	712	0.2404
0.7563	713	0.236
0.7574	714	0.2073
0.7584	715	0.2713
0.7595	716	0.234
0.7605	717	0.248
0.7616	718	0.2334
0.7627	719	0.1891
0.7637	720	0.2468
0.7648	721	0.2107
0.7658	722	0.2161
0.7669	723	0.1953
0.7680	724	0.2337
0.7690	725	0.2046
0.7701	726	0.1827
0.7711	727	0.2406
0.7722	728	0.1932
0.7733	729	0.3194
0.7743	730	0.1891
0.7754	731	0.2433
0.7765	732	0.2084
0.7775	733	0.2676
0.7786	734	0.2529
0.7796	735	0.1791
0.7807	736	0.2194
0.7818	737	0.1863
0.7828	738	0.284
0.7839	739	0.2245
0.7849	740	0.2023
0.7860	741	0.1853
0.7871	742	0.1998
0.7881	743	0.2714
0.7892	744	0.151
0.7902	745	0.1556
0.7913	746	0.2321
0.7924	747	0.2017
0.7934	748	0.2546
0.7945	749	0.2304
0.7955	750	0.3209
0.7966	751	0.2016
0.7977	752	0.2412
0.7987	753	0.2047
0.7998	754	0.2
0.8008	755	0.2511
0.8019	756	0.1972
0.8030	757	0.229
0.8040	758	0.1247
0.8051	759	0.1908
0.8062	760	0.1593
0.8072	761	0.1688
0.8083	762	0.1904
0.8093	763	0.1839
0.8104	764	0.153
0.8115	765	0.1952
0.8125	766	0.1717
0.8136	767	0.1977
0.8146	768	0.1805
0.8157	769	0.2166
0.8168	770	0.1845
0.8178	771	0.1707
0.8189	772	0.2043
0.8199	773	0.1499
0.8210	774	0.1654
0.8221	775	0.183
0.8231	776	0.2042
0.8242	777	0.2085
0.8252	778	0.1841
0.8263	779	0.2092
0.8274	780	0.1398
0.8284	781	0.2132
0.8295	782	0.1531
0.8305	783	0.1584
0.8316	784	0.174
0.8327	785	0.1735
0.8337	786	0.1783
0.8348	787	0.226
0.8359	788	0.1357
0.8369	789	0.203
0.8380	790	0.1262
0.8390	791	0.1891
0.8401	792	0.162
0.8412	793	0.1401
0.8422	794	0.1993
0.8433	795	0.141
0.8443	796	0.2244
0.8454	797	0.1649
0.8465	798	0.2372
0.8475	799	0.1511
0.8486	800	0.1502
0.8496	801	0.1781
0.8507	802	0.1092
0.8518	803	0.1228
0.8528	804	0.1987
0.8539	805	0.1457
0.8549	806	0.1559
0.8560	807	0.1638
0.8571	808	0.1644
0.8581	809	0.1468
0.8592	810	0.182
0.8602	811	0.2173
0.8613	812	0.1923
0.8624	813	0.1358
0.8634	814	0.1968
0.8645	815	0.1556
0.8656	816	0.1257
0.8666	817	0.1333
0.8677	818	0.1417
0.8687	819	0.1722
0.8698	820	0.1583
0.8709	821	0.1563
0.8719	822	0.1794
0.8730	823	0.1814
0.8740	824	0.1577
0.8751	825	0.1561
0.8762	826	0.1606
0.8772	827	0.1652
0.8783	828	0.1744
0.8793	829	0.1855
0.8804	830	0.1764
0.8815	831	0.1323
0.8825	832	0.1029
0.8836	833	0.1385
0.8846	834	0.1811
0.8857	835	0.1098
0.8868	836	0.1188
0.8878	837	0.1613
0.8889	838	0.1709
0.8899	839	0.1999
0.8910	840	0.1758
0.8921	841	0.1561
0.8931	842	0.123
0.8942	843	0.1635
0.8953	844	0.1739
0.8963	845	0.1655
0.8974	846	0.1497
0.8984	847	0.1656
0.8995	848	0.1526
0.9006	849	0.1758
0.9016	850	0.1497
0.9027	851	0.1707
0.9037	852	0.1711
0.9048	853	0.1729
0.9059	854	0.1614
0.9069	855	0.151
0.9080	856	0.1669
0.9090	857	0.1262
0.9101	858	0.1391
0.9112	859	0.1418
0.9122	860	0.1103
0.9133	861	0.1056
0.9143	862	0.1612
0.9154	863	0.1355
0.9165	864	0.1261
0.9175	865	0.1554
0.9186	866	0.125
0.9196	867	0.1192
0.9207	868	0.115
0.9218	869	0.1249
0.9228	870	0.1049
0.9239	871	0.1089
0.9250	872	0.1239
0.9260	873	0.0903
0.9271	874	0.1368
0.9281	875	0.1419
0.9292	876	0.1233
0.9303	877	0.108
0.9313	878	0.1438
0.9324	879	0.1551
0.9334	880	0.1028
0.9345	881	0.1018
0.9356	882	0.1201
0.9366	883	0.1402
0.9377	884	0.1152
0.9387	885	0.1144
0.9398	886	0.0975
0.9409	887	0.0896
0.9419	888	0.1662
0.9430	889	0.1311
0.9440	890	0.1669
0.9451	891	0.1041
0.9462	892	0.1162
0.9472	893	0.115
0.9483	894	0.1513
0.9494	895	0.124
0.9504	896	0.1406
0.9515	897	0.1221
0.9525	898	0.1045
0.9536	899	0.1305
0.9547	900	0.1706
0.9557	901	0.1415
0.9568	902	0.1473
0.9578	903	0.125
0.9589	904	0.0976
0.9600	905	0.1234
0.9610	906	0.0989
0.9621	907	0.1647
0.9631	908	0.1419
0.9642	909	0.1502
0.9653	910	0.15
0.9663	911	0.0971
0.9674	912	0.1101
0.9684	913	0.1259
0.9695	914	0.1242
0.9706	915	0.1184
0.9716	916	0.1235
0.9727	917	0.1249
0.9737	918	0.1379
0.9748	919	0.1041
0.9759	920	0.1139
0.9769	921	0.0991
0.9780	922	0.1367
0.9791	923	0.1349
0.9801	924	0.1248
0.9812	925	0.1062
0.9822	926	0.1574
0.9833	927	0.181
0.9844	928	0.1175
0.9854	929	0.0933
0.9865	930	0.1066
0.9875	931	0.1421
0.9886	932	0.1363
0.9897	933	0.0977
0.9907	934	0.0852
0.9918	935	0.0957
0.9928	936	0.0979
0.9939	937	0.0896
0.9950	938	0.0969
0.9960	939	0.0802
0.9971	940	0.0487
0.9981	941	0.0656
0.9992	942	0.0612

Framework Versions

Python: 3.10.12
Sentence Transformers: 3.2.1
Transformers: 4.44.2
PyTorch: 2.3.1+cu121
Accelerate: 1.1.1
Datasets: 2.21.0
Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

bibtex

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}