This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: BAAI/bge-m3
Maximum Sequence Length: 1024 tokens
Output Dimensionality: 1024 tokens
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 1024, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("seongil-dn/bge-m3-kor-retrieval-451949-bs512-118")
# Run inference
sentences = [
    '국민의료비 중 공공재원의 지출이 58.2퍼센트 비율을 차지하고 있는 나라는 어디야',
    '공적건강보험에 대한 지속적인 보장성 및 역할 강화 노력으로 전체 의료비 중 공공재원이 차지하는 비중이 지속적으로 증가하고 있는 상황이지만 여전히 개인의 의료비 부담이 높기 때문에 민영건강보험의 재원 부담 비중도 지속적으로 증가하고 있는 추세이다. 전체 의료비 중 자동차보험과 민영건강보험(실 손의료보험)을 통한 의료비 지출비중은 5.8%에 이르고 있다. 나머지 31.4%는 가계직접부담으로 이 중의 일부가 정액형 건강보험을 통해 지출되고 있다. 정액형 건강보험은 의료비 보장과 함께 중증질환에 걸렸을 때 현실적으로 경제활동이 지속되기 어려워 소득상실 리스크를 보장하는 기능까지 포함하고 있기 때문에 정액형 건강보험의 재원조달 비중을 계량적으로 추산하기 어렵다. 공공재원을 통한 의료비 지출은 1980년 이후 꾸준히 증가하여 왔지만 OECD국가와 비교했을 때 그 비중이 여전히 낮은 상황이다. OECD 회원국 중에서 국민의료비 중 공공부문 지출 비중이 높은 나라는 덴마크 85.0%, 영국 84.1%, 노르웨이 84.1% 등이며, 낮은 나라는 칠레 47.4%, 미국 47.7%, 멕시코 48.3% 등으로 나타나고 있다. 한국의 의료비 지출 중 공공재원에 의한 지출 비중은 58.2%이며, 이는 OECD 평균 71.8%를 크게 하회하는 수준으로, 그만큼 개인의 의료비 부담이 상대적으로 높은 상황이다. 한국의 공공재원이 낮은 이유는 국민건강보험 제도를 도입한 초기부터 타 OECD 국가에 비해 ‘저부담-저급여’ 구조를 유지했기 때문이며, 동일한 부담을 하는데도 보장률이 낮은 것은 아니기 때문에 낮은 공공재원 비중 자체를 문제점으로 지적하기는 어렵다.',
    '5) 건강보험 재정\n2010년 기준으로 독일의 GDP 대비 국민의료비 비중은 11.6%이고, 국민 의료비 중 공공지출 비율은 76.8%로 OECD 국가의 평균인 72.2%를 소폭 상회하고 있다. 이 같은 재정을 충당하기 위한 독일의 공적건강보험의 재원으로는 보험료, (연방)정부의 보조금 그리고 기타 수입 등이 있다. 이 중 주요 재원은 보험료 이며 정부의 보조금이 부분적으로 사용된다. 보험료는 근로자와 고용주가 부담하며, 연금과 산재보험수급자도 의료보험료를 부담하여야 한다. 2009년 이전에는 각 질병금고들이 수지균형의 원칙에 따라 보험요율을 자율적으로 결정하기 때문에 각 질병금고의 종류별로 그리고 같은 종류라도 지역별로 보험요율의 변동폭이 매우 상이했다. 보험료는 원칙적으로 보험가입자와 고용주, 연금보험자(관리기구) 또는 기타 기관들이 소득수준에 따라 부담하며 모두 건강기금(Gesundheitsfonds) 으로 납입된다. 2009년부터 모든 질병금고에 동일한 보험요율이 적용되어 15.5%로 단일화되었으며, 그 이전까지 고용주와 근로자가 동일하게 절반씩 동일하게 부담하던 것을 2011년부터 고용주는 7.3%를 부담하고 근로자는 8.2%를 차등적으로 부담하게 되었다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 512
learning_rate: 3e-05
num_train_epochs: 5
warmup_ratio: 0.05
fp16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 512
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 3e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 5
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.05
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: True
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
eval_use_gather_object: False
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0085	1	1.3027
0.0171	2	1.3225
0.0256	3	1.2947
0.0342	4	1.2816
0.0427	5	1.2586
0.0513	6	1.1569
0.0598	7	0.9937
0.0684	8	0.927
0.0769	9	0.7317
0.0855	10	0.6074
0.0940	11	0.539
0.1026	12	0.4646
0.1111	13	0.4067
0.1197	14	0.3811
0.1282	15	0.3346
0.1368	16	0.3451
0.1453	17	0.3241
0.1538	18	0.3001
0.1624	19	0.2788
0.1709	20	0.2673
0.1795	21	0.2488
0.1880	22	0.2499
0.1966	23	0.2423
0.2051	24	0.2394
0.2137	25	0.2225
0.2222	26	0.2254
0.2308	27	0.2132
0.2393	28	0.2223
0.2479	29	0.2096
0.2564	30	0.1923
0.2650	31	0.1906
0.2735	32	0.1975
0.2821	33	0.1916
0.2906	34	0.1907
0.2991	35	0.1885
0.3077	36	0.1853
0.3162	37	0.1868
0.3248	38	0.1729
0.3333	39	0.1781
0.3419	40	0.1681
0.3504	41	0.1757
0.3590	42	0.1739
0.3675	43	0.166
0.3761	44	0.1709
0.3846	45	0.1748
0.3932	46	0.1711
0.4017	47	0.1548
0.4103	48	0.1647
0.4188	49	0.1633
0.4274	50	0.1618
0.4359	51	0.1573
0.4444	52	0.1595
0.4530	53	0.1609
0.4615	54	0.1563
0.4701	55	0.1585
0.4786	56	0.1569
0.4872	57	0.1591
0.4957	58	0.1433
0.5043	59	0.1536
0.5128	60	0.1504
0.5214	61	0.152
0.5299	62	0.1455
0.5385	63	0.1497
0.5470	64	0.147
0.5556	65	0.1476
0.5641	66	0.1504
0.5726	67	0.1503
0.5812	68	0.15
0.5897	69	0.1492
0.5983	70	0.1571
0.6068	71	0.1454
0.6154	72	0.1481
0.6239	73	0.1443
0.6325	74	0.1428
0.6410	75	0.1469
0.6496	76	0.1433
0.6581	77	0.146
0.6667	78	0.1452
0.6752	79	0.1427
0.6838	80	0.1419
0.6923	81	0.1349
0.7009	82	0.1406
0.7094	83	0.133
0.7179	84	0.1403
0.7265	85	0.136
0.7350	86	0.1396
0.7436	87	0.141
0.7521	88	0.1496
0.7607	89	0.1462
0.7692	90	0.1428
0.7778	91	0.1438
0.7863	92	0.146
0.7949	93	0.1409
0.8034	94	0.1355
0.8120	95	0.1363
0.8205	96	0.1359
0.8291	97	0.1353
0.8376	98	0.1399
0.8462	99	0.1481
0.8547	100	0.1419
0.8632	101	0.1368
0.8718	102	0.13
0.8803	103	0.1467
0.8889	104	0.1354
0.8974	105	0.1335
0.9060	106	0.1411
0.9145	107	0.1298
0.9231	108	0.1468
0.9316	109	0.1402
0.9402	110	0.132
0.9487	111	0.1343
0.9573	112	0.1255
0.9658	113	0.1371
0.9744	114	0.1263
0.9829	115	0.1326
0.9915	116	0.1305
1.0	117	0.1316
1.0085	118	0.137

Framework Versions

Python: 3.10.12
Sentence Transformers: 3.2.1
Transformers: 4.44.2
PyTorch: 2.3.1+cu121
Accelerate: 1.1.1
Datasets: 2.21.0
Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

bibtex

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}