This is a sentence-transformers model finetuned from vinai/phobert-base-v2. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: vinai/phobert-base-v2
Maximum Sequence Length: 256 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("meandyou200175/pB-query-sql")
# Run inference
sentences = [
    'mình cần robot hút bụi pin lớn hơn 3120mAh',
    'Robot hút bụi Ecovacs Deebot T10, Pin 5200mAh, Hút 5000Pa, Giá: 12.900.000',
    'Robot hút bụi Ecovacs Deebot T10, Pin 2076mAh, Hút 5000Pa, Giá: 12.900.000',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.4825
cosine_accuracy@2	0.7364
cosine_accuracy@5	0.9538
cosine_accuracy@10	0.9888
cosine_accuracy@100	0.9985
cosine_precision@1	0.4825
cosine_precision@2	0.3682
cosine_precision@5	0.1908
cosine_precision@10	0.0989
cosine_precision@100	0.01
cosine_recall@1	0.4825
cosine_recall@2	0.7364
cosine_recall@5	0.9538
cosine_recall@10	0.9888
cosine_recall@100	0.9985
cosine_ndcg@10	0.755
cosine_mrr@1	0.4825
cosine_mrr@2	0.6095
cosine_mrr@5	0.6724
cosine_mrr@10	0.6773
cosine_mrr@100	0.6778
cosine_map@100	0.6778

Training Details

Training Dataset

Unnamed Dataset

Size: 12,085 training samples
Columns: query, positive, negative_1, negative_2, negative_3, negative_4, negative_5, negative_6, negative_7, negative_8, negative_9, negative_10, negative_11, negative_12, negative_13, negative_14, and negative_15

Approximate statistics based on the first 1000 samples:

	query	positive	negative_1	negative_2	negative_3	negative_4	negative_5	negative_6	negative_7	negative_8	negative_9	negative_10	negative_11	negative_12	negative_13	negative_14	negative_15
type	string	string	string	string	string	string	string	string	string	string	string	string	string	string	string	string	string
details	min: 6 tokens mean: 14.32 tokens max: 28 tokens	min: 18 tokens mean: 27.93 tokens max: 97 tokens	min: 18 tokens mean: 28.05 tokens max: 97 tokens	min: 18 tokens mean: 28.21 tokens max: 97 tokens	min: 18 tokens mean: 28.28 tokens max: 97 tokens	min: 18 tokens mean: 28.36 tokens max: 97 tokens	min: 17 tokens mean: 28.3 tokens max: 97 tokens	min: 18 tokens mean: 28.31 tokens max: 97 tokens	min: 18 tokens mean: 28.42 tokens max: 97 tokens	min: 17 tokens mean: 28.57 tokens max: 112 tokens	min: 18 tokens mean: 28.36 tokens max: 97 tokens	min: 18 tokens mean: 28.3 tokens max: 97 tokens	min: 17 tokens mean: 27.7 tokens max: 112 tokens	min: 18 tokens mean: 27.71 tokens max: 112 tokens	min: 17 tokens mean: 27.84 tokens max: 100 tokens	min: 17 tokens mean: 27.67 tokens max: 112 tokens	min: 18 tokens mean: 27.88 tokens max: 97 tokens

Samples:

query	positive	negative_1	negative_2	negative_3	negative_4	negative_5	negative_6	negative_7	negative_8	negative_9	negative_10	negative_11	negative_12	negative_13	negative_14	negative_15
`tôi cần máy lọc không khí giá dưới 4 triệu`	`Máy lọc không khí Xiaomi Mi Air Purifier 4, công suất 50W, lọc bụi PM2.5, Giá: 3.200.000`	`Máy lọc không khí Xiaomi Mi Air Purifier 6, công suất 50W, lọc bụi PM2.5, Giá: 3.200.000`	`Máy lọc không khí Xiaomi Mi Air Purifier 5, công suất 50W, lọc bụi PM2.5, Giá: 3.200.000`	`Bếp gas Rinnai RV-377GN, Công suất 4.2kW, 2 bếp, Giá: 2.300.000`	`Máy in HP LaserJet Pro M404dn, Tốc độ 30 trang/phút, Kết nối LAN, Giá: 6.800.000`	`Máy lọc không khí Sharp FP-J30E-A, Diện tích lọc: 23m2, Bộ lọc HEPA, Plasmacluster ion, Giá: 2,190,000`	`Bàn ủi Philips HI114, công suất 1500W, mặt đế chống dính, Giá: 950.000`	`Máy rửa bát Bosch SMS46NI05E, 12 bộ, 6 chương trình rửa, Tiết kiệm nước, Giá: 16.500.000`	`Bếp từ Sunhouse SHD6158, công suất 2300W, hẹn giờ 3h, Giá 1100000`	`Tai nghe Sony WH-1000XM5, Chống ồn chủ động, Pin 30h, Bluetooth 5.2, Giá: 9.500.000`	`Công tắc Tuya Smart WiFi, chịu tải 16A, kết nối 2.4GHz, Giá: 420.000`	`Màn hình Samsung Odyssey Neo G9, 49 inch, 240Hz, 2K, Giá: 42.000.000`	`Router TP-Link Archer C6, băng tần 2.4/5GHz, tốc độ 1200Mbps, Giá 950000`	`Máy pha cà phê DeLonghi ECAM22.110B, Bình 2.2L, Tự động, Giá: 14.000.000`	`Máy lọc không khí Philips AC1214, diện tích 30 mét vuông, công suất 35W, Giá 1350000`	`Tủ lạnh Sharp Inverter SJ-X196E, Cao 1m65, Dung tích 196L, Giá: 5.500.000`
`Máy sấy dung tích lớn hơn 3kg`	`Máy sấy Electrolux EDV7052, dung tích 7kg, công suất 1600W, Giá 5250000`	`Máy sấy Electrolux EDV7052, dung tích 3kg, công suất 1600W, Giá 5250000`	`Máy sấy Electrolux EDV7052, dung tích 2kg, công suất 1600W, Giá 5250000`	`Máy lọc không khí Coway AP-1009CH, Diện tích 50m2, Giá: 6.800.000`	`Laptop Asus Vivobook 15, màn hình 15.6 inch (~39.6cm), trọng lượng 2.4kg (2400g), RAM 16GB, SSD 512GB, Giá: 18.500.000`	`Loa JBL Charge 5, Phát nhạc 20h, Chống nước IP67, Giá: 3.900.000`	`Máy tính xách tay ASUS Zenbook 14 OLED UX3402, Trọng lượng: 1.4kg, CPU: i5-1240P, RAM 16GB, SSD 512GB, Màn OLED 2.8K, Giá: 23,990,000`	`Máy pha cà phê Delonghi EC685, Công suất 1450W, Áp suất 15 bar, Giá: 9.800.000`	`Xe côn tay Yamaha R15 V4, Động cơ 155cc, Công nghệ VVA, Giá: 74.000.000`	`Đèn bàn LED Xiaomi Mi, công suất 12W, điều chỉnh độ sáng + nhiệt màu, Giá: 580.000`	`Tablet iPad 9th Gen, Màn 10.2 inch Retina, Chip A13, Giá: 10.900.000`	`Ghế sofa chữ L, Dài 2m7, Da PU, 5 chỗ ngồi, Giá: 12.000.000`	`Máy ảnh Canon EOS R10, Nặng 429g, Cảm biến APS-C 24MP, Giá: 24.500.000`	`Máy giặt sấy LG Inverter 10kg, AI DD, TurboWash, Giá: 19.500.000`	`Bàn là hơi nước Philips GC4880, công suất 1500W, Giá 700000`	`Máy hút ẩm FujiE HM-920EC, Công suất 20L/ngày, Giá: 5.900.000`
`tôi cần điện thoại giá nhỏ hơn 8 triệu`	`Smartphone Xiaomi Redmi Note 12, Màn AMOLED 6.67", Pin 5000mAh, Giá: 5.890.000`	`Smartphone Xiaomi Redmi Note 9, Màn AMOLED 6.67", Pin 5000mAh, Giá: 5.890.000`	`Smartphone Xiaomi Redmi Note 11, Màn AMOLED 6.67", Pin 5000mAh, Giá: 5.890.000`	`Smartphone Xiaomi Redmi Note 10, Màn AMOLED 6.67", Pin 5000mAh, Giá: 5.890.000`	`Máy quét phim Plustek OpticFilm 8200, 16MP, Giá: 2.650.000`	`Máy xay Philips HR2115, công suất 500W, cối 1.5L, Giá: 1.200.000`	`Bàn phím Logitech K380, Kết nối Bluetooth, Nhỏ gọn, Giá: 1.200.000`	`Máy xay cà phê cầm tay Hario, dung tích 50g, tay quay, Giá: 480.000`	`Ghế xoay Ergohuman Plus, Tải trọng 120kg, Lưng lưới, Giá: 8.900.000`	`Điện thoại Xiaomi Redmi A1, RAM 2GB, Pin 5000mAh, Giá: 2.100.000`	`Quạt điều hòa Sunhouse SHD7725, Bình 45L, Công suất 200W, Giá: 3.600.000`	`Smartphone iPhone 13 Mini, Trọng lượng: 140g, Màn hình 5.4 inch Super Retina XDR, Chip A15 Bionic, RAM 4GB, ROM 128GB, Giá: 17,990,000`	`Xe máy điện VinFast Theon S, Tốc độ tối đa 90km/h, Pin 3500W, Giá: 63.000.000`	`Tivi Samsung Neo QLED 65", 4K UHD, HDR10+, Giá: 25.500.000`	`Tủ đông Aqua AQF-C300, Công suất 280W, Dung tích 295L, Giá: 8.600.000`	`Máy lọc nước Karofi 12000ml, 8 lõi lọc, công suất 95W, Giá: 7.000.000`

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Evaluation Dataset

Unnamed Dataset

Size: 1,343 evaluation samples
Columns: query, positive, negative_1, negative_2, negative_3, negative_4, negative_5, negative_6, negative_7, negative_8, negative_9, negative_10, negative_11, negative_12, negative_13, negative_14, and negative_15

Approximate statistics based on the first 1000 samples:

	query	positive	negative_1	negative_2	negative_3	negative_4	negative_5	negative_6	negative_7	negative_8	negative_9	negative_10	negative_11	negative_12	negative_13	negative_14	negative_15
type	string	string	string	string	string	string	string	string	string	string	string	string	string	string	string	string	string
details	min: 6 tokens mean: 14.19 tokens max: 27 tokens	min: 18 tokens mean: 27.94 tokens max: 82 tokens	min: 18 tokens mean: 28.02 tokens max: 82 tokens	min: 17 tokens mean: 28.1 tokens max: 82 tokens	min: 18 tokens mean: 28.23 tokens max: 83 tokens	min: 18 tokens mean: 28.1 tokens max: 82 tokens	min: 18 tokens mean: 28.26 tokens max: 82 tokens	min: 18 tokens mean: 28.35 tokens max: 82 tokens	min: 17 tokens mean: 28.33 tokens max: 97 tokens	min: 18 tokens mean: 28.28 tokens max: 112 tokens	min: 17 tokens mean: 28.14 tokens max: 82 tokens	min: 18 tokens mean: 28.31 tokens max: 112 tokens	min: 17 tokens mean: 27.77 tokens max: 97 tokens	min: 18 tokens mean: 27.87 tokens max: 112 tokens	min: 17 tokens mean: 27.67 tokens max: 112 tokens	min: 17 tokens mean: 27.52 tokens max: 97 tokens	min: 17 tokens mean: 28.0 tokens max: 112 tokens

Samples:

query	positive	negative_1	negative_2	negative_3	negative_4	negative_5	negative_6	negative_7	negative_8	negative_9	negative_10	negative_11	negative_12	negative_13	negative_14	negative_15
`mình cần nồi áp suất điện công suất lớn hơn 1040W`	`Nồi áp suất Philips HD2137, Công suất 1300W, 14 chức năng, Giá: 2.900.000`	`Nồi áp suất Philips HD2137, Công suất 700W, 14 chức năng, Giá: 2.900.000`	`Nồi áp suất Philips HD2137, Công suất 751W, 14 chức năng, Giá: 2.900.000`	`Nồi áp suất Philips HD2137, Công suất 653W, 14 chức năng, Giá: 2.900.000`	`Nồi áp suất Philips HD2137, Công suất 770W, 14 chức năng, Giá: 2.900.000`	`Nồi áp suất Philips HD2137, Công suất 958W, 14 chức năng, Giá: 2.900.000`	`Nồi áp suất Philips HD2137, Công suất 699W, 14 chức năng, Giá: 2.900.000`	`Nồi áp suất Philips HD2137, Công suất 797W, 14 chức năng, Giá: 2.900.000`	`Nồi áp suất Philips HD2137, Công suất 679W, 14 chức năng, Giá: 2.900.000`	`Nồi áp suất Philips HD2137, Công suất 893W, 14 chức năng, Giá: 2.900.000`	`Nồi áp suất Philips HD2137, Công suất 897W, 14 chức năng, Giá: 2.900.000`	`Công tắc Tuya Smart, điều khiển qua App, chịu tải 16A, Giá: 420.000`	`Ghế văn phòng Noble WB-204, xoay 360°, chịu lực 160kg, Giá: 2.450.000`	`Máy in Canon LBP6230DN, In 2 mặt, Tốc độ 28 trang/phút, Giá: 4.600.000`	`Tablet Lenovo Tab M10 Gen 3, màn 10.1", RAM 4GB, ROM 64GB, Giá: 5.900.000`	`Bình đun Kangaroo 1800W, dung tích 1.7L, tự ngắt khi sôi, Giá: 500.000`
`tôi muốn mua loa công suất nhỏ hơn 240W`	`Loa Bluetooth Sony SRS-XB33, Công suất 150W, Chống nước, Giá: 3.200.000`	`Loa Bluetooth Sony SRS-XB33, Công suất 281W, Chống nước, Giá: 3.200.000`	`Loa Bluetooth Sony SRS-XB33, Công suất 253W, Chống nước, Giá: 3.200.000`	`Loa Bluetooth Sony SRS-XB33, Công suất 282W, Chống nước, Giá: 3.200.000`	`Loa Bluetooth Sony SRS-XB33, Công suất 352W, Chống nước, Giá: 3.200.000`	`Loa Bluetooth Sony SRS-XB33, Công suất 319W, Chống nước, Giá: 3.200.000`	`Loa Bluetooth Sony SRS-XB33, Công suất 293W, Chống nước, Giá: 3.200.000`	`Loa Bluetooth Sony SRS-XB33, Công suất 295W, Chống nước, Giá: 3.200.000`	`Loa Bluetooth Sony SRS-XB33, Công suất 301W, Chống nước, Giá: 3.200.000`	`Loa Bluetooth Sony SRS-XB33, Công suất 320W, Chống nước, Giá: 3.200.000`	`Loa Bluetooth Sony SRS-XB33, Công suất 356W, Chống nước, Giá: 3.200.000`	`Smart Tivi LG QNED 75, Màn hình 75 inch 4K, Dolby Vision, Giá: 29.000.000`	`Quạt đứng Asia D16018, 3 tốc độ, chiều cao 1.2m, Giá: 580.000`	`Loa kéo JBL PartyBox 1000, công suất 1000W, trọng lượng 15kg, Bluetooth, Giá: 22.500.000`	`Vali du lịch Sakos, Size 22 inch, Khóa TSA, Nhựa ABS, Giá: 1.850.000`	`Bình nóng lạnh Ariston Andris2 20L, công suất 2500W, chống giật ELCB, Giá 2390000`
`Tai nghe không dây chống ồn ANC và pin trên 20h`	`Tai nghe Bose QuietComfort 45, ANC, pin 24h, Bluetooth 5.1, Giá 7490000`	`Máy pha cà phê Delonghi EC685, Công suất 1350W, Áp suất 15 bar, Giá: 6.200.000`	`Máy lọc nước Karofi KAQ-U95, Công suất 25L/h, 10 lõi lọc, Giá: 9.500.000`	`Máy lọc Kangaroo KG111, công suất 25L/h, 9 lõi lọc, vòi nhựa ABS, Giá 7550000`	`Đèn năng lượng mặt trời Sunhouse 20W, pin lithium, chiếu sáng 10h, Giá: 460.000`	`Ghế massage Daikiosan DK-150, công suất 120W, nhiều chế độ, Giá: 3.850.000`	`Máy hút bụi Hitachi CV-SE230V, Công suất 2300W, Lọc HEPA, Giá: 4.500.000`	`Tủ giày gỗ công nghiệp, Rộng 70cm, 3 tầng, Giá: 1.200.000`	`Thiết bị lọc Sharp FP-J30E-A, Diện tích lọc: 23m2, Bộ lọc HEPA, Plasmacluster ion, Giá: 2,190,000`	`Bàn ủi Philips GC2990, công suất 1800W, đế chống dính, Giá: 680.000`	`Bàn là hơi nước Philips GC4880, công suất 1500W, Giá 700000`	`Máy lọc không khí Xiaomi Mi Air Purifier 4, công suất 50W, lọc bụi PM2.5, Giá: 3.200.000`	`Smartphone Xiaomi Redmi Note 12, Màn AMOLED 6.67", Pin 5000mAh, Giá: 5.890.000`	`Tủ lạnh Hitachi R-WB640VGV0, Dung tích 569L, Inverter, Giá: 25.000.000`	`Máy cưa bàn Makita MLT100, Công suất 1650W, Bàn cắt 690mm, Giá: 9.200.000`	`Loa Bluetooth Anker Soundcore, Pin 12h, Công suất 10W, Giá: 1.200.000`

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 4
per_device_eval_batch_size: 4
learning_rate: 2e-05
num_train_epochs: 10
warmup_ratio: 0.1
fp16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 4
per_device_eval_batch_size: 4
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 10
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	cosine_ndcg@10
-1	-1	-	-	0.1714
0.0331	100	3.1377	-	-
0.0662	200	2.503	-	-
0.0993	300	2.2899	-	-
0.1324	400	2.2639	-	-
0.1655	500	2.2148	-	-
0.1985	600	2.1753	-	-
0.2316	700	2.066	-	-
0.2647	800	1.9329	-	-
0.2978	900	1.8195	-	-
0.3309	1000	1.7638	1.6024	0.4015
0.3640	1100	1.6775	-	-
0.3971	1200	1.5961	-	-
0.4302	1300	1.4757	-	-
0.4633	1400	1.5213	-	-
0.4964	1500	1.3906	-	-
0.5295	1600	1.4209	-	-
0.5625	1700	1.3032	-	-
0.5956	1800	1.2807	-	-
0.6287	1900	1.2214	-	-
0.6618	2000	1.1369	0.9819	0.4349
0.6949	2100	1.0557	-	-
0.7280	2200	1.0554	-	-
0.7611	2300	0.9938	-	-
0.7942	2400	0.885	-	-
0.8273	2500	0.9139	-	-
0.8604	2600	0.9002	-	-
0.8934	2700	0.8333	-	-
0.9265	2800	0.7317	-	-
0.9596	2900	0.7898	-	-
0.9927	3000	0.7467	0.5364	0.5163
1.0258	3100	0.59	-	-
1.0589	3200	0.6862	-	-
1.0920	3300	0.6216	-	-
1.1251	3400	0.5714	-	-
1.1582	3500	0.5407	-	-
1.1913	3600	0.4424	-	-
1.2244	3700	0.4588	-	-
1.2574	3800	0.4185	-	-
1.2905	3900	0.3664	-	-
1.3236	4000	0.4079	0.3222	0.5620
1.3567	4100	0.4488	-	-
1.3898	4200	0.3677	-	-
1.4229	4300	0.3706	-	-
1.4560	4400	0.3379	-	-
1.4891	4500	0.2752	-	-
1.5222	4600	0.3173	-	-
1.5553	4700	0.3361	-	-
1.5884	4800	0.3541	-	-
1.6214	4900	0.3089	-	-
1.6545	5000	0.288	0.2324	0.5978
1.6876	5100	0.3473	-	-
1.7207	5200	0.2599	-	-
1.7538	5300	0.2065	-	-
1.7869	5400	0.3111	-	-
1.8200	5500	0.2551	-	-
1.8531	5600	0.2377	-	-
1.8862	5700	0.2837	-	-
1.9193	5800	0.2271	-	-
1.9523	5900	0.1589	-	-
1.9854	6000	0.3115	0.1789	0.6191
2.0185	6100	0.1572	-	-
2.0516	6200	0.1874	-	-
2.0847	6300	0.1606	-	-
2.1178	6400	0.1562	-	-
2.1509	6500	0.2054	-	-
2.1840	6600	0.1909	-	-
2.2171	6700	0.2015	-	-
2.2502	6800	0.2208	-	-
2.2833	6900	0.1983	-	-
2.3163	7000	0.1634	0.1503	0.6417
2.3494	7100	0.1692	-	-
2.3825	7200	0.1868	-	-
2.4156	7300	0.1422	-	-
2.4487	7400	0.1455	-	-
2.4818	7500	0.2187	-	-
2.5149	7600	0.142	-	-
2.5480	7700	0.1148	-	-
2.5811	7800	0.1341	-	-
2.6142	7900	0.1284	-	-
2.6473	8000	0.1555	0.1202	0.6534
2.6803	8100	0.1207	-	-
2.7134	8200	0.1153	-	-
2.7465	8300	0.1114	-	-
2.7796	8400	0.1158	-	-
2.8127	8500	0.1241	-	-
2.8458	8600	0.1345	-	-
2.8789	8700	0.132	-	-
2.9120	8800	0.113	-	-
2.9451	8900	0.1101	-	-
2.9782	9000	0.1177	0.1014	0.6733
3.0113	9100	0.1358	-	-
3.0443	9200	0.1148	-	-
3.0774	9300	0.097	-	-
3.1105	9400	0.1303	-	-
3.1436	9500	0.1077	-	-
3.1767	9600	0.116	-	-
3.2098	9700	0.0878	-	-
3.2429	9800	0.0984	-	-
3.2760	9900	0.1017	-	-
3.3091	10000	0.1452	0.0950	0.6854
3.3422	10100	0.0905	-	-
3.3752	10200	0.0811	-	-
3.4083	10300	0.0802	-	-
3.4414	10400	0.1408	-	-
3.4745	10500	0.0622	-	-
3.5076	10600	0.0779	-	-
3.5407	10700	0.0754	-	-
3.5738	10800	0.0645	-	-
3.6069	10900	0.0642	-	-
3.6400	11000	0.0586	0.0998	0.6864
3.6731	11100	0.0556	-	-
3.7062	11200	0.0948	-	-
3.7392	11300	0.0791	-	-
3.7723	11400	0.0587	-	-
3.8054	11500	0.1135	-	-
3.8385	11600	0.0886	-	-
3.8716	11700	0.0807	-	-
3.9047	11800	0.0656	-	-
3.9378	11900	0.0506	-	-
3.9709	12000	0.1059	0.0783	0.7082
4.0040	12100	0.0551	-	-
4.0371	12200	0.0421	-	-
4.0702	12300	0.0334	-	-
4.1032	12400	0.0651	-	-
4.1363	12500	0.0363	-	-
4.1694	12600	0.0525	-	-
4.2025	12700	0.0428	-	-
4.2356	12800	0.0646	-	-
4.2687	12900	0.0647	-	-
4.3018	13000	0.0528	0.0757	0.7215
4.3349	13100	0.0812	-	-
4.3680	13200	0.051	-	-
4.4011	13300	0.0401	-	-
4.4341	13400	0.037	-	-
4.4672	13500	0.0283	-	-
4.5003	13600	0.0483	-	-
4.5334	13700	0.0616	-	-
4.5665	13800	0.0622	-	-
4.5996	13900	0.0552	-	-
4.6327	14000	0.0633	0.0813	0.7209
4.6658	14100	0.0811	-	-
4.6989	14200	0.0586	-	-
4.7320	14300	0.0458	-	-
4.7651	14400	0.0418	-	-
4.7981	14500	0.07	-	-
4.8312	14600	0.0498	-	-
4.8643	14700	0.0864	-	-
4.8974	14800	0.0442	-	-
4.9305	14900	0.0481	-	-
4.9636	15000	0.0536	0.0711	0.7243
4.9967	15100	0.1027	-	-
5.0298	15200	0.0291	-	-
5.0629	15300	0.0437	-	-
5.0960	15400	0.0541	-	-
5.1291	15500	0.0217	-	-
5.1621	15600	0.0315	-	-
5.1952	15700	0.0417	-	-
5.2283	15800	0.0429	-	-
5.2614	15900	0.0176	-	-
5.2945	16000	0.0358	0.0759	0.7176
5.3276	16100	0.0374	-	-
5.3607	16200	0.0509	-	-
5.3938	16300	0.0473	-	-
5.4269	16400	0.0367	-	-
5.4600	16500	0.0479	-	-
5.4931	16600	0.0338	-	-
5.5261	16700	0.0557	-	-
5.5592	16800	0.0556	-	-
5.5923	16900	0.0443	-	-
5.6254	17000	0.073	0.0751	0.7414
5.6585	17100	0.0892	-	-
5.6916	17200	0.0262	-	-
5.7247	17300	0.0306	-	-
5.7578	17400	0.0345	-	-
5.7909	17500	0.0222	-	-
5.8240	17600	0.0586	-	-
5.8570	17700	0.0326	-	-
5.8901	17800	0.0255	-	-
5.9232	17900	0.0593	-	-
5.9563	18000	0.0374	0.0677	0.7365
5.9894	18100	0.0318	-	-
6.0225	18200	0.0659	-	-
6.0556	18300	0.0206	-	-
6.0887	18400	0.0452	-	-
6.1218	18500	0.0347	-	-
6.1549	18600	0.0236	-	-
6.1880	18700	0.0385	-	-
6.2210	18800	0.0425	-	-
6.2541	18900	0.015	-	-
6.2872	19000	0.026	0.0642	0.7403
6.3203	19100	0.0279	-	-
6.3534	19200	0.0163	-	-
6.3865	19300	0.0256	-	-
6.4196	19400	0.031	-	-
6.4527	19500	0.0435	-	-
6.4858	19600	0.0298	-	-
6.5189	19700	0.0346	-	-
6.5520	19800	0.0155	-	-
6.5850	19900	0.0431	-	-
6.6181	20000	0.0358	0.0624	0.7382
6.6512	20100	0.0224	-	-
6.6843	20200	0.0451	-	-
6.7174	20300	0.0437	-	-
6.7505	20400	0.0832	-	-
6.7836	20500	0.0542	-	-
6.8167	20600	0.0243	-	-
6.8498	20700	0.0225	-	-
6.8829	20800	0.0384	-	-
6.9159	20900	0.0214	-	-
6.9490	21000	0.0296	0.0620	0.7423
6.9821	21100	0.0244	-	-
7.0152	21200	0.0136	-	-
7.0483	21300	0.0145	-	-
7.0814	21400	0.0378	-	-
7.1145	21500	0.0215	-	-
7.1476	21600	0.0214	-	-
7.1807	21700	0.0269	-	-
7.2138	21800	0.015	-	-
7.2469	21900	0.0463	-	-
7.2799	22000	0.0273	0.0605	0.7452
7.3130	22100	0.0276	-	-
7.3461	22200	0.022	-	-
7.3792	22300	0.0443	-	-
7.4123	22400	0.0106	-	-
7.4454	22500	0.0169	-	-
7.4785	22600	0.024	-	-
7.5116	22700	0.0356	-	-
7.5447	22800	0.0167	-	-
7.5778	22900	0.019	-	-
7.6109	23000	0.0233	0.0580	0.7459
7.6439	23100	0.0158	-	-
7.6770	23200	0.02	-	-
7.7101	23300	0.013	-	-
7.7432	23400	0.0378	-	-
7.7763	23500	0.0186	-	-
7.8094	23600	0.0143	-	-
7.8425	23700	0.0364	-	-
7.8756	23800	0.022	-	-
7.9087	23900	0.0178	-	-
7.9418	24000	0.038	0.0525	0.7471
7.9749	24100	0.022	-	-
8.0079	24200	0.0279	-	-
8.0410	24300	0.0368	-	-
8.0741	24400	0.0319	-	-
8.1072	24500	0.0114	-	-
8.1403	24600	0.0041	-	-
8.1734	24700	0.0337	-	-
8.2065	24800	0.0094	-	-
8.2396	24900	0.0171	-	-
8.2727	25000	0.0264	0.0579	0.7519
8.3058	25100	0.0269	-	-
8.3388	25200	0.0308	-	-
8.3719	25300	0.0208	-	-
8.4050	25400	0.0062	-	-
8.4381	25500	0.016	-	-
8.4712	25600	0.0165	-	-
8.5043	25700	0.0198	-	-
8.5374	25800	0.0211	-	-
8.5705	25900	0.0355	-	-
8.6036	26000	0.0315	0.0553	0.7574
8.6367	26100	0.016	-	-
8.6698	26200	0.0144	-	-
8.7028	26300	0.0208	-	-
8.7359	26400	0.0205	-	-
8.7690	26500	0.0155	-	-
8.8021	26600	0.0284	-	-
8.8352	26700	0.0204	-	-
8.8683	26800	0.0163	-	-
8.9014	26900	0.0382	-	-
8.9345	27000	0.0267	0.0589	0.7558
8.9676	27100	0.0204	-	-
9.0007	27200	0.0193	-	-
9.0338	27300	0.0079	-	-
9.0668	27400	0.0156	-	-
9.0999	27500	0.0234	-	-
9.1330	27600	0.0113	-	-
9.1661	27700	0.0216	-	-
9.1992	27800	0.0217	-	-
9.2323	27900	0.0028	-	-
9.2654	28000	0.0155	0.0627	0.7521
9.2985	28100	0.0346	-	-
9.3316	28200	0.0165	-	-
9.3647	28300	0.0214	-	-
9.3977	28400	0.0224	-	-
9.4308	28500	0.0095	-	-
9.4639	28600	0.0081	-	-
9.4970	28700	0.0219	-	-
9.5301	28800	0.0272	-	-
9.5632	28900	0.0468	-	-
9.5963	29000	0.0033	0.0586	0.7548
9.6294	29100	0.0161	-	-
9.6625	29200	0.0263	-	-
9.6956	29300	0.0156	-	-
9.7287	29400	0.0114	-	-
9.7617	29500	0.0184	-	-
9.7948	29600	0.0098	-	-
9.8279	29700	0.0453	-	-
9.8610	29800	0.0117	-	-
9.8941	29900	0.0142	-	-
9.9272	30000	0.0318	0.0565	0.7550
9.9603	30100	0.0192	-	-
9.9934	30200	0.0187	-	-

Framework Versions

Python: 3.11.13
Sentence Transformers: 4.1.0
Transformers: 4.52.4
PyTorch: 2.6.0+cu124
Accelerate: 1.8.1
Datasets: 3.6.0
Tokenizers: 0.21.2

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

bibtex

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}