This is a sentence-transformers model finetuned from tanbinh2210/mlm_finetuned_phobert on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: tanbinh2210/mlm_finetuned_phobert
Maximum Sequence Length: 256 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- json

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("tanbinh2210/mlm_finetuned_2_phobert")
# Run inference
sentences = [
    'hồ_sơ xin thôi quốc_tịch việt_nam bao_gồm những gì ?',
    'điều 28 . hồ_sơ xin thôi quốc_tịch việt_nam 1 . hồ_sơ xin thôi quốc_tịch việt_nam bao_gồm : a ) đơn xin thôi quốc_tịch việt_nam ; b ) bản khai_lý_lịch ; c ) bản_sao hộ_chiếu việt_nam , giấy_chứng_minh nhân_dân hoặc giấy_tờ khác quy_định tại điều 11 của luật này ; d ) phiếu lý_lịch tư_pháp do cơ_quan có thẩm_quyền của việt_nam cấp . phiếu lý_lịch tư_pháp phải là phiếu được cấp không quá 90 ngày tính đến ngày nộp hồ_sơ ; đ ) giấy_tờ xác_nhận về việc người đó đang làm thủ_tục nhập quốc_tịch nước_ngoài , trừ trường_hợp pháp_luật nước đó không quy_định về việc cấp giấy này ; e ) giấy xác_nhận không nợ thuế do cục thuế nơi người xin thôi quốc_tịch việt_nam cư_trú cấp ; g ) đối_với người trước_đây là cán_bộ , công_chức , viên_chức hoặc phục_vụ trong lực_lượng_vũ_trang nhân_dân việt_nam đã nghỉ hưu , thôi_việc , bị miễn_nhiệm , bãi_nhiệm , cách_chức hoặc giải_ngũ , phục_viên chưa quá 5 năm thì còn phải nộp giấy của cơ_quan , tổ_chức , đơn_vị đã ra quyết_định cho nghỉ hưu , cho thôi_việc , miễn_nhiệm , bãi_nhiệm , cách_chức hoặc giải_ngũ , phục_viên xác_nhận việc thôi quốc_tịch việt_nam của người đó không phương_hại đến lợi_ích quốc_gia của việt_nam .',
    '3 . bản_sao giấy khai_sinh của người con chưa thành_niên cùng thôi quốc_tịch việt_nam theo cha_mẹ hoặc giấy_tờ hợp_lệ khác chứng_minh quan_hệ cha_con , mẹ_con . trường_hợp chỉ người cha hoặc người mẹ thôi quốc_tịch việt_nam mà con chưa thành_niên sinh_sống cùng người đó thôi quốc_tịch việt_nam theo cha hoặc mẹ thì phải nộp văn_bản thỏa_thuận có đủ chữ_ký của cha_mẹ về việc xin thôi quốc_tịch việt_nam cho con . văn_bản thỏa_thuận không phải chứng_thực chữ_ký ; người đứng đơn xin thôi quốc_tịch việt_nam cho con phải chịu trách_nhiệm về tính chính_xác chữ_ký của người kia . trường_hợp cha , mẹ đã chết , bị mất năng_lực hành_vi dân_sự hoặc hạn_chế năng_lực hành_vi dân_sự thì văn_bản thỏa_thuận được thay_thế bằng giấy_tờ chứng_minh cha , mẹ đã chết , bị mất hoặc hạn_chế năng_lực hành_vi dân_sự . 4 . hồ_sơ xin thôi quốc_tịch việt_nam phải lập thành 3 bộ , được lưu_trữ tại văn_phòng chủ_tịch nước , bộ_tư_pháp và cơ_quan thụ_lý hồ_sơ .',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

json

Dataset: json
Size: 357,018 training samples
Columns: query, pos, and neg
Approximate statistics based on the first 1000 samples:
query pos neg
type string string string
details
min: 5 tokens
mean: 16.98 tokens
max: 37 tokens
min: 17 tokens
mean: 151.14 tokens
max: 256 tokens
min: 3 tokens
mean: 114.34 tokens
max: 256 tokens

Samples:

query	pos	neg
`thủ_tục hưởng bảo_hiểm_xã_hội một lần gồm bao_nhiêu bước thực_hiện ?`	`bước 1 . lập , nộp hồ_sơ nlđ lập hồ_sơ theo quy_định tại mục_9.3 ( thành_phần hồ_sơ ) và nộp cho cơ_quan bhxh nơi cư_trú . bước 2 . cơ_quan bhxh tiếp_nhận hồ_sơ và giải_quyết theo quy_định . bước 3 . nhận kết_quả nlđ nhận kết_quả giải_quyết , gồm : quyết_định về việc hưởng bhxh một lần ; bản quá_trình đóng bhxh ; tiền trợ_cấp .`	3 . giải_quyết hưởng bảo_hiểm_xã_hội một lần trong thời_hạn 10 ngày tính đến thời_điểm chấm_dứt hợp_đồng lao_động hoặc thời_điểm giấy_phép lao_động , chứng_chỉ hành_nghề , giấy_phép hành_nghề hết hiệu_lực ( tùy thuộc điều_kiện nào đến trước ) mà người lao_động không tiếp_tục làm_việc theo hợp_đồng lao_động hoặc không được gia_hạn giấy_phép , người lao_động có yêu_cầu hưởng bảo_hiểm_xã_hội một lần nộp hồ_sơ theo quy_định cho cơ_quan bảo_hiểm_xã_hội . trong thời_hạn 05 ngày làm_việc kể từ ngày nhận đủ hồ_sơ theo quy_định , cơ_quan bảo_hiểm_xã_hội có trách_nhiệm giải_quyết và tổ_chức chi_trả cho người lao_động , trường_hợp không giải_quyết thì phải trả_lời bằng văn_bản và nêu rõ lý_do . "
`vụ đất_đai thuộc bộ tài_nguyên và môi_trường có những chức_danh lãnh_đạo nào ?`	lãnh_đạo vụ 1 . vụ đất_đai có vụ trưởng và không quá 03 phó vụ trưởng . 2 . vụ trưởng vụ đất_đai chịu trách_nhiệm trước bộ_trưởng và trước pháp_luật về mọi hoạt_động của vụ ; ban_hành quy_chế làm_việc của vụ ; ký các văn_bản về chuyên_môn , nghiệp_vụ theo chức_năng , nhiệm_vụ được giao và các văn_bản khác theo phân_công , ủy_quyền của bộ_trưởng . 3 . phó vụ trưởng vụ đất_đai giúp vụ trưởng , chịu trách_nhiệm trước vụ trưởng và trước pháp_luật về lĩnh_vực công_tác được phân_công .	`cơ_cấu tổ_chức 1 . lãnh_đạo vụ : a ) lãnh_đạo vụ có vụ trưởng và các phó vụ trưởng do bộ_trưởng bộ nông_nghiệp và phát_triển nông_thôn bổ_nhiệm , miễn_nhiệm theo quy_định ; ...`
`lãnh_đạo báo pháp_luật việt_nam gồm có những_ai ?`	cơ_cấu tổ_chức , biên_chế 1 . cơ_cấu tổ_chức của báo , gồm : a ) lãnh_đạo báo : lãnh_đạo báo gồm tổng_biên_tập và không quá 03 ( ba ) phó tổng_biên_tập . tổng_biên_tập chịu trách_nhiệm trước bộ_trưởng và trước pháp_luật về việc thực_hiện các chức_năng , nhiệm_vụ , quyền_hạn của báo . các phó tổng_biên_tập giúp tổng_biên_tập quản_lý , điều_hành hoạt_động của báo ; được tổng_biên_tập phân_công trực_tiếp quản_lý , điều_hành một_số lĩnh_vực hoạt_động của báo ; chịu trách_nhiệm trước tổng_biên_tập và trước pháp_luật về việc quản_lý , điều_hành những lĩnh_vực công_tác được phân_công . b ) các đơn_vị trực_thuộc báo - ban thư_ký tòa_soạn ; - ban thời_sự chính_trị ; - ban kinh_tế ; - ban nội_chính ; - ban văn_hóa - xã_hội ; - ban bạn_đọc ; - ban doanh_nhân và pháp_luật ; - ban báo pháp_luật điện_tử ; - ban chuyên_đề báo in ; - ban chuyên_đề báo_điện_tử ; - ban trị_sự ; - phòng kế_hoạch - tài_chính . việc thành_lập , tổ_chức lại , giải_thể các đơn_vị trực_thuộc báo tại điểm này do bộ_trưởng quyế...	cơ_cấu tổ_chức , biên_chế 1 . cơ_cấu tổ_chức a ) lãnh_đạo tạp_chí : lãnh_đạo tạp_chí gồm tổng_biên_tập và không quá 03 ( ba ) phó tổng_biên_tập . tổng_biên_tập chịu trách_nhiệm trước bộ_trưởng và trước pháp_luật về việc thực_hiện chức_năng , nhiệm_vụ , quyền_hạn của tạp_chí . các phó tổng_biên_tập giúp tổng_biên_tập quản_lý , điều_hành hoạt_động của tạp_chí ; được tổng_biên_tập phân_công trực_tiếp quản_lý , điều_hành một_số lĩnh_vực hoạt_động của tạp_chí ; chịu trách_nhiệm trước tổng_biên_tập và trước pháp_luật về việc quản_lý , điều_hành các lĩnh_vực đã được phân_công . ...

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Evaluation Dataset

json

Dataset: json
Size: 357,018 evaluation samples
Columns: query, pos, and neg
Approximate statistics based on the first 1000 samples:
query pos neg
type string string string
details
min: 6 tokens
mean: 17.15 tokens
max: 43 tokens
min: 15 tokens
mean: 153.03 tokens
max: 256 tokens
min: 3 tokens
mean: 114.34 tokens
max: 256 tokens

Samples:

query	pos	neg
`kỳ thi tốt_nghiệp thpt quốc_gia được tổ_chức nhằm mục_đích gì ?`	“ điều 2 . mục_đích , yêu_cầu 1 . thi tốt_nghiệp thpt nhằm mục_đích : đánh_giá kết_quả học_tập của người học theo mục_tiêu giáo_dục của chương_trình giáo_dục_phổ_thông cấp thpt , chương_trình gdtx cấp thpt ( gọi chung là chương_trình thpt ) ; lấy kết_quả thi để xét công_nhận tốt_nghiệp thpt ; làm cơ_sở đánh_giá chất_lượng dạy , học của trường phổ_thông và công_tác chỉ_đạo của các cơ_quan quản_lý giáo_dục . các cơ_sở giáo_dục đại_học , giáo_dục nghề_nghiệp có_thể sử_dụng kết_quả thi tốt_nghiệp thpt để tuyển_sinh . 2 . kỳ thi tốt_nghiệp thpt ( gọi tắt là kỳ thi ) phải bảo_đảm yêu_cầu nghiêm_túc , trung_thực , khách_quan , công_bằng . ”	" điều 12 . đối_tượng , điều_kiện dự thi 1 . đối_tượng dự thi gồm : a ) người đã học xong chương_trình thpt trong năm tổ_chức kỳ_thi ; b ) người đã học xong chương_trình thpt nhưng chưa thi tốt_nghiệp thpt hoặc đã thi nhưng chưa tốt_nghiệp thpt ở những năm trước ; c ) người đã có bằng tốt_nghiệp thpt , người đã có bằng tốt_nghiệp trung_cấp dự thi để lấy kết_quả làm cơ_sở đăng_ký xét tuyển_sinh ; d ) một_số trường_hợp đặc_biệt khác do bộ_trưởng bộ gdđt quyết_định . "
`chánh_án tòa_án quân_sự trung_ương không được hưởng chế_độ phụ_cấp đặc_thù trong trường_hợp nào ?`	iii . cách tính trả . 1 . đối_tượng quy_định tại điều 1 thông_tư này được bổ_nhiệm từ tháng nào thì được hưởng chế_độ phụ_cấp đặc_thù từ tháng đó . khi bị miễn_nhiệm , cách_chức , từ trần hoặc thôi giữ chức_danh quy_định tại điều 1 thông_tư này từ tháng nào thì thôi_hưởng chế_độ phụ_cấp đặc_thù từ tháng tiếp_theo . các trường_hợp sau không được hưởng phụ đặc_thù : - thời_gian được cử đi công_tác , làm_việc , học_tập ở nước_ngoài được hưởng 40 % tiền_lương theo quy_định tại khoản 4 , điều 8 nghị_định số 204 / 2004 / nđ-cp ngày 14/12/2004 của chính_phủ ; - thời_gian đi công_tác , học_tập ở trong nước không trực_tiếp làm công_tác chuyên_môn từ 3 tháng trở lên ; - thời_gian bị ốm_đau , thai_sản nghỉ vượt quá thời_hạn quy_định của luật bảo_hiểm_xã_hội ; - thời_gian nghỉ_việc riêng không hưởng lương từ 1 tháng trở lên ; - thời_gian bị đình_chỉ công_tác . 2 . phụ_cấp đặc_thù đối_với một_số chức_danh tư_pháp và thanh_tra trong quân_đội không được tính để hưởng các chế_độ bảo_hiểm_xã_hội , bảo_...	cách tính hưởng phụ_cấp 1 . mức phụ_cấp đặc_thù quy_định tại điều 2 quyết_định này được tính trên mức lương cấp_bậc quân_hàm , ngạch bậc hiện_hưởng hoặc phụ_cấp quân_hàm_cộng phụ_cấp chức_vụ lãnh_đạo và phụ_cấp thâm_niên vượt khung ( nếu có ) . 2 . khi chuyển công_tác khác mà không giữ các chức_vụ , chức_danh quy_định cho các đối_tượng tại điều 2 quyết_định này hoặc nghỉ chuẩn_bị hưu hoặc thôi phục_vụ trong quân_đội thì thôi_hưởng phụ_cấp đặc_thù từ tháng tiếp_theo . 3 . thời_gian không được tính hưởng phụ_cấp đặc_thù , bao_gồm : a ) thời_gian đi công_tác , làm_việc học_tập ở nước_ngoài được hưởng tiền_lương theo quy_định tại khoản 4 điều 8 nghị_định số 204 / 2004 / nđ-cp ngày 14 tháng 12 năm 2004 của chính_phủ về chế_độ tiền_lương đối_với cán_bộ , công_chức , viên_chức và lực_lượng_vũ_trang ; b ) thời_gian nghỉ_việc không hưởng lương liên_tục từ 1 tháng trở lên ; c ) thời_gian nghỉ_việc hưởng bảo_hiểm_xã_hội theo quy_định của pháp_luật về bảo_hiểm_xã_hội ; d ) thời_gian bị đình_chỉ cô...
`nhân_viên hải_quan có thuộc đối_tượng được hưởng phụ_cấp ưu_đãi theo nghề đối_với công_chức hải_quan không ?`	đối_tượng và phạm_vi áp_dụng tổng_cục trưởng tổng_cục hải_quan và công_chức đã được xếp lương theo các ngạch công_chức hải_quan , gồm : kiểm_tra_viên cao_cấp hải_quan , kiểm_tra_viên chính hải_quan , kiểm_tra_viên hải_quan , kiểm_tra_viên hải_quan ( cao_đẳng ) , kiểm_tra_viên trung_cấp hải_quan , nhân_viên hải_quan . 2 . nguyên_tắc áp_dụng a ) đối_tượng được hưởng phụ_cấp ưu_đãi theo nghề hải_quan quy_định tại khoản 1 mục i thông_tư này là những người được cấp có thẩm_quyền quyết_định bổ_nhiệm vào_ngạch hoặc chức_danh theo quy_định của pháp_luật . b ) công_chức được bổ_nhiệm vào_ngạch hoặc chức_danh nào thì được hưởng phụ_cấp ưu_đãi quy_định đối_với ngạch hoặc chức_danh đó . c ) công_chức được bổ_nhiệm vào ngạch công_chức hải_quan cao hơn ( nâng_ngạch ) mà tổng mức tiền_lương cộng phụ_cấp ưu_đãi theo nghề hải_quan ở ngạch được bổ_nhiệm thấp hơn tổng mức tiền_lương cộng phụ_cấp ưu_đãi theo nghề hải_quan đã hưởng ở ngạch cũ thì được bảo_lưu phần chênh_lệch giữa tổng mức tiền_lương cộng p...	`đối_tượng và phạm_vi áp_dụng tổng_cục trưởng tổng_cục hải_quan và công_chức đã được xếp lương theo các ngạch công_chức hải_quan , gồm : kiểm_tra_viên cao_cấp hải_quan , kiểm_tra_viên chính hải_quan , kiểm_tra_viên hải_quan , kiểm_tra_viên hải_quan ( cao_đẳng ) , kiểm_tra_viên trung_cấp hải_quan , nhân_viên hải_quan .`

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Training Hyperparameters

Non-Default Hyperparameters

overwrite_output_dir: True
per_device_train_batch_size: 48
per_device_eval_batch_size: 48
learning_rate: 1e-05
warmup_ratio: 0.1
fp16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: True
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 48
per_device_eval_batch_size: 48
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 1e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 3
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0168	100	0.8316
0.0336	200	0.7016
0.0504	300	0.618
0.0672	400	0.581
0.0840	500	0.5548
0.1008	600	0.5178
0.1176	700	0.4886
0.1344	800	0.487
0.1512	900	0.4726
0.1680	1000	0.4579
0.1848	1100	0.4643
0.2016	1200	0.4475
0.2185	1300	0.4233
0.2353	1400	0.4346
0.2521	1500	0.4391
0.2689	1600	0.4272
0.2857	1700	0.4204
0.3025	1800	0.4321
0.3193	1900	0.4198
0.3361	2000	0.4147
0.3529	2100	0.4062
0.3697	2200	0.3968
0.3865	2300	0.4089
0.4033	2400	0.3908
0.4201	2500	0.3993
0.4369	2600	0.3837
0.4537	2700	0.4001
0.4705	2800	0.3872
0.4873	2900	0.3727
0.5041	3000	0.3728
0.5209	3100	0.3765
0.5377	3200	0.3834
0.5545	3300	0.376
0.5713	3400	0.3614
0.5881	3500	0.3695
0.6049	3600	0.3633
0.6217	3700	0.3628
0.6385	3800	0.3589
0.6554	3900	0.3363
0.6722	4000	0.3434
0.6890	4100	0.342
0.7058	4200	0.3473
0.7226	4300	0.3457
0.7394	4400	0.344
0.7562	4500	0.3487
0.7730	4600	0.332
0.7898	4700	0.3487
0.8066	4800	0.3416
0.8234	4900	0.3386
0.8402	5000	0.3182
0.8570	5100	0.3473
0.8738	5200	0.3313
0.8906	5300	0.3235
0.9074	5400	0.3297
0.9242	5500	0.336
0.9410	5600	0.3319
0.9578	5700	0.3328
0.9746	5800	0.317
0.9914	5900	0.3288
1.0082	6000	0.3346
1.0250	6100	0.316
1.0418	6200	0.3278
1.0586	6300	0.3044
1.0754	6400	0.3122
1.0923	6500	0.3089
1.1091	6600	0.2975
1.1259	6700	0.3017
1.1427	6800	0.2868
1.1595	6900	0.288
1.1763	7000	0.301
1.1931	7100	0.2717
1.2099	7200	0.2711
1.2267	7300	0.2642
1.2435	7400	0.2602
1.2603	7500	0.2689
1.2771	7600	0.2577
1.2939	7700	0.2595
1.3107	7800	0.2559
1.3275	7900	0.2587
1.3443	8000	0.2421
1.3611	8100	0.241
1.3779	8200	0.2551
1.3947	8300	0.2553
1.4115	8400	0.2383
1.4283	8500	0.2479
1.4451	8600	0.2535
1.4619	8700	0.241
1.4787	8800	0.246
1.4955	8900	0.2403
1.5124	9000	0.2334
1.5292	9100	0.2435
1.5460	9200	0.2338
1.5628	9300	0.2386
1.5796	9400	0.2347
1.5964	9500	0.2413
1.6132	9600	0.2353
1.6300	9700	0.2304
1.6468	9800	0.2318
1.6636	9900	0.2204
1.6804	10000	0.2317
1.6972	10100	0.2235
1.7140	10200	0.2346
1.7308	10300	0.2375
1.7476	10400	0.2318
1.7644	10500	0.2294
1.7812	10600	0.2314
1.7980	10700	0.2372
1.8148	10800	0.237
1.8316	10900	0.2117
1.8484	11000	0.2364
1.8652	11100	0.235
1.8820	11200	0.2196
1.8988	11300	0.2304
1.9156	11400	0.2283
1.9324	11500	0.2381
1.9493	11600	0.2333
1.9661	11700	0.2354
1.9829	11800	0.2156
1.9997	11900	0.2387
2.0165	12000	0.2345
2.0333	12100	0.2253
2.0501	12200	0.2319
2.0669	12300	0.2232
2.0837	12400	0.213
2.1005	12500	0.2189
2.1173	12600	0.2092
2.1341	12700	0.2129
2.1509	12800	0.2005
2.1677	12900	0.2068
2.1845	13000	0.22
2.2013	13100	0.1941
2.2181	13200	0.1869
2.2349	13300	0.201
2.2517	13400	0.1965
2.2685	13500	0.1901
2.2853	13600	0.1851
2.3021	13700	0.1997
2.3189	13800	0.1926
2.3357	13900	0.1803
2.3525	14000	0.1838
2.3693	14100	0.1817
2.3862	14200	0.1947
2.4030	14300	0.1843
2.4198	14400	0.192
2.4366	14500	0.1823
2.4534	14600	0.1879
2.4702	14700	0.182
2.4870	14800	0.1846
2.5038	14900	0.1799
2.5206	15000	0.1769
2.5374	15100	0.1868
2.5542	15200	0.1869
2.5710	15300	0.1845
2.5878	15400	0.1858
2.6046	15500	0.1786
2.6214	15600	0.1788
2.6382	15700	0.1892
2.6550	15800	0.1731
2.6718	15900	0.1822
2.6886	16000	0.1779
2.7054	16100	0.188
2.7222	16200	0.1867
2.7390	16300	0.1801
2.7558	16400	0.1879
2.7726	16500	0.1799
2.7894	16600	0.1871
2.8063	16700	0.1913
2.8231	16800	0.1887
2.8399	16900	0.1747
2.8567	17000	0.1908
2.8735	17100	0.184
2.8903	17200	0.1791
2.9071	17300	0.1871
2.9239	17400	0.1915
2.9407	17500	0.1921
2.9575	17600	0.1906
2.9743	17700	0.1864
2.9911	17800	0.1861

Framework Versions

Python: 3.10.14
Sentence Transformers: 3.3.1
Transformers: 4.45.1
PyTorch: 2.4.0
Accelerate: 0.34.2
Datasets: 3.0.1
Tokenizers: 0.20.0

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

bibtex

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

	query	pos	neg
type	string	string	string
details	min: 5 tokens mean: 16.98 tokens max: 37 tokens	min: 17 tokens mean: 151.14 tokens max: 256 tokens	min: 3 tokens mean: 114.34 tokens max: 256 tokens