This is a sentence-transformers model finetuned from vinai/phobert-base-v2 on the legal_retrieval_2 dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: vinai/phobert-base-v2
Maximum Sequence Length: 128 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- legal_retrieval_2

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("datht/phobert-base-v2-IR")
# Run inference
sentences = [
    'Tiêu chuẩn về trình độ đào tạo của giáo viên THPT hạng II được quy định như thế nào?',
    "['1. Nhiệm vụ\\nNgoài những nhiệm vụ của giáo viên trung học phổ thông hạng III, giáo viên trung học phổ thông hạng II còn phải thực hiện các nhiệm vụ sau:\\na) Làm báo cáo viên hoặc dạy minh họa ở các lớp bồi dưỡng giáo viên từ cấp trường trở lên hoặc dạy thử nghiệm các mô hình, phương pháp, công nghệ mới; chủ trì các nội dung bồi dưỡng và sinh hoạt chuyên đề ở tổ chuyên môn hoặc tham gia xây dựng học liệu điện tử;\\nb) Tham gia hướng dẫn hoặc đánh giá các sản phẩm nghiên cứu khoa học và công nghệ từ cấp trường trở lên;\\nc) Tham gia đánh giá ngoài hoặc công tác kiểm tra chuyên môn, nghiệp vụ cho giáo viên từ cấp trường trở lên;\\nd) Tham gia ban giám khảo hội thi giáo viên dạy giỏi hoặc giáo viên chủ nhiệm lớp giỏi cấp trường trở lên;\\nđ) Tham gia ra đề hoặc chấm thi học sinh giỏi trung học phổ thông từ cấp trường trở lên;\\ne) Tham gia hướng dẫn hoặc đánh giá các hội thi hoặc các sản phẩm nghiên cứu khoa học kỹ thuật của học sinh trung học phổ thông từ cấp trường trở lên;\\ng)\\xa0Tham gia các hoạt động xã hội, phục vụ cộng đồng; thu hút sự tham gia của các tổ chức, cá nhân trong việc tổ chức các hoạt động dạy học, giáo dục học sinh.\\n2. Tiêu chuẩn về đạo đức nghề nghiệp\\nNgoài các tiêu chuẩn về đạo đức nghề nghiệp của giáo viên trung học phổ thông hạng III, giáo viên trung học phổ thông hạng II phải luôn luôn gương mẫu thực hiện các quy định về đạo đức nhà giáo.\\n3. Tiêu chuẩn về trình độ đào tạo, bồi dưỡng\\na) Có bằng cử nhân trở lên thuộc ngành đào tạo giáo viên đối với giáo viên trung học phổ thông.\\nTrường hợp môn học chưa đủ giáo viên có bằng cử nhân thuộc ngành đào tạo giáo viên thì phải có bằng cử nhân chuyên ngành phù hợp và có chứng chỉ bồi dưỡng nghiệp vụ sư phạm dành cho giáo viên trung học phổ thông theo chương trình do Bộ trưởng Bộ Giáo dục và Đào tạo ban hành;\\nb) Có chứng chỉ bồi dưỡng theo tiêu chuẩn chức danh nghề nghiệp giáo viên trung học phổ thông hạng II.\\n4.\\xa0Tiêu chuẩn về năng lực chuyên môn, nghiệp vụ\\na) Nắm vững chủ trương, đường lối, chính sách, pháp luật của Đảng, Nhà nước, quy định và yêu cầu của ngành, địa phương về giáo dục trung học phổ thông và triển khai thực hiện có kết quả vào nhiệm vụ được giao;\\nb) Có khả năng điều chỉnh kế hoạch dạy học và giáo dục phù hợp với điều kiện thực tế của nhà trường và địa phương; cập nhật, vận dụng linh hoạt và hiệu quả các phương pháp dạy học, giáo dục đáp ứng yêu cầu đổi mới, phù hợp với điều kiện thực tế;\\nc) Có khả năng nghiên cứu, cập nhật kịp thời yêu cầu đối mới về kiến thức chuyên môn; vận dụng sáng tạo, phù hợp các hình thức, phương pháp và lựa chọn nội dung học tập, bồi dưỡng, nâng cao năng lực chuyên môn của bản thân;\\nd) Có khả năng đánh giá hoặc hướng dẫn đồng nghiệp nghiên cứu khoa học sư phạm ứng dụng; đánh giá sản phẩm nghiên cứu khoa học kỹ thuật của học sinh trung học phổ thông từ cấp trường trở lên;\\nđ) Có khả năng vận dụng sáng tạo các hình thức, phương pháp kiểm tra đánh giá kết quả học tập và sự tiến bộ của học sinh theo hướng phát triển phẩm chất, năng lực học sinh;\\ne) Có khả năng vận dụng có hiệu quả các biện pháp tư vấn tâm lí, hướng nghiệp và công tác xã hội trường học phù hợp với từng đối tượng học sinh trong hoạt động dạy học và giáo dục;\\ng) Có khả năng ứng dụng công nghệ thông tin trong thực hiện các nhiệm vụ của giáo viên trung học phổ thông hạng II và có khả năng sử dụng ngoại ngữ hoặc tiếng dân tộc thiểu số trong một số nhiệm vụ cụ thể được giao;\\nh) Được công nhận là chiến sĩ thi đua cơ sở hoặc giáo viên dạy giỏi, giáo viên chủ nhiệm lớp giỏi cấp trường trở lên;\\ni) Viên chức dự thi hoặc xét thăng hạng chức danh nghề nghiệp giáo viên trung học phổ thông hạng II (mã số V.07.05.14) phải có thời gian giữ chức danh nghề nghiệp giáo viên trung học phổ thông hạng III (mã số V.07.05.15) hoặc tương đương từ đủ 09 (chín) năm trở lên (không kể thời gian tập sự), tính đến thời hạn nộp hồ sơ đăng ký dự thi hoặc xét thăng hạng.']",
    'Kinh phí đào tạo người học theo chế độ cử tuyển được cân đối trong dự toán chi ngân sách nhà nước của lĩnh vực giáo dục, đào tạo và giáo dục nghề nghiệp hằng năm theo phân cấp quản lý ngân sách nhà nước. Trong đó, Học bổng chính sách của người học theo chế độ cử tuyển được thực hiện theo quy định tại Nghị định số 84/2020/NĐ-CP ngày 17 tháng 7 năm 2020 của Chính phủ Quy định chi tiết một số điều của Luật Giáo dục.<unk> Trường hợp người học cử tuyển học các ngành đào tạo giáo viên thì chính sách hỗ trợ tiền chi phí sinh hoạt được thực hiện',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Ranking

Evaluated with evaluator.RankingEvaluator

Metric	Value
mrr	0.5356
ndcg	0.5807

Training Details

Training Dataset

legal_retrieval_2

Dataset: legal_retrieval_2 at 0520159
Size: 5,143 training samples
Columns: anchor, positive, negative, and positive_id

Approximate statistics based on the first 1000 samples:

	anchor	positive	negative	positive_id
type	string	string	string	string
details	min: 8 tokens mean: 23.8 tokens max: 44 tokens	min: 26 tokens mean: 121.23 tokens max: 128 tokens	min: 25 tokens mean: 115.91 tokens max: 128 tokens	min: 9 tokens mean: 11.12 tokens max: 28 tokens

Samples:

anchor	positive	negative	positive_id
`Công bố bản án, quyết định tòa án đối với doanh nghiệp nhỏ và vừa trên cổng thông tin điện tử được quy định như thế nào?`	1. Việc công bố bản án, quyết định có hiệu lực pháp luật của tòa án trên cổng thông tin điện tử của tòa án được thực hiện theo Nghị quyết số 03/2017/NQ-HĐTP ngày 16 tháng 3 năm 2017 của Hội đồng Thẩm phán Tòa án nhân dân tối cao về việc công bố bản án, quyết định trên cổng thông tin điện tử của Tòa án hoặc văn bản quy phạm pháp luật sửa đổi, bổ sung hoặc thay thế Nghị quyết này.[object Object]2. Việc công bố phán quyết, quyết định của trọng tài thương mại được thực hiện theo pháp luật trọng tài thương mại, thỏa thuận của các bên có liên quan đến phán quyết, quyết định đó.[object Object]3. Việc công bố quyết định xử lý vụ việc cạnh tranh được thực hiện theo quy định của Luật Cạnh tranh và văn bản quy phạm pháp luật quy định chi tiết Luật này.[object Object]4. Việc công bố quyết định xử lý vi phạm hành chính được thực hiện theo quy định của Luật Xử lý vi phạm hành chính và các văn bản quy phạm pháp luật quy định chi tiết Luật này.[object Object]5. Bộ, cơ quan ngang bộ, Ủy ban nhân dân cấp tỉnh có trách nhiệm cập nhật và đăng tải các bản án, q...	`1. Thành phần hồ sơ quy định tại Điều 8 Thông tư này.[object Object]`	`55/2019/nđ-cp_7`
`Công bố bản án, quyết định tòa án đối với doanh nghiệp nhỏ và vừa trên cổng thông tin điện tử được quy định như thế nào?`	1. Việc công bố bản án, quyết định có hiệu lực pháp luật của tòa án trên cổng thông tin điện tử của tòa án được thực hiện theo Nghị quyết số 03/2017/NQ-HĐTP ngày 16 tháng 3 năm 2017 của Hội đồng Thẩm phán Tòa án nhân dân tối cao về việc công bố bản án, quyết định trên cổng thông tin điện tử của Tòa án hoặc văn bản quy phạm pháp luật sửa đổi, bổ sung hoặc thay thế Nghị quyết này.[object Object]2. Việc công bố phán quyết, quyết định của trọng tài thương mại được thực hiện theo pháp luật trọng tài thương mại, thỏa thuận của các bên có liên quan đến phán quyết, quyết định đó.[object Object]3. Việc công bố quyết định xử lý vụ việc cạnh tranh được thực hiện theo quy định của Luật Cạnh tranh và văn bản quy phạm pháp luật quy định chi tiết Luật này.[object Object]4. Việc công bố quyết định xử lý vi phạm hành chính được thực hiện theo quy định của Luật Xử lý vi phạm hành chính và các văn bản quy phạm pháp luật quy định chi tiết Luật này.[object Object]5. Bộ, cơ quan ngang bộ, Ủy ban nhân dân cấp tỉnh có trách nhiệm cập nhật và đăng tải các bản án, q...	`Quy trình tái cơ cấu doanh nghiệp 100% vốn nhà nước để chuyển thành công ty cổ phần quy định cụ thể tại Phụ lục kèm theo Thông tư này, bao gồm các bước cơ bản sau:[object Object]`	`55/2019/nđ-cp_7`
`Mức phạt nếu ngồi trên tay lái mô tô, xe gắn máy ?`	1. Phạt tiền từ 80.000 đồng đến 100.000 đồng đối với người được chở trên xe đạp, xe đạp máy sử dụng ô (dù).[object Object]2. Phạt tiền từ 100.000 đồng đến 200.000 đồng đối với cá nhân thực hiện một trong các hành vi vi phạm sau đây:[object Object]a) Tập trung đông người trái phép, nằm, ngồi trên đường bộ gây cản trở giao thông;[object Object]b) Đá bóng, đá cầu, chơi cầu lông hoặc các hoạt động thể thao khác trái phép trên đường bộ; sử dụng bàn trượt, pa-tanh, các thiết bị tương tự trên phần đường xe chạy;[object Object]c) Người được chở trên xe mô tô, xe gắn máy (kể cả xe máy điện), các loại xe tương tự xe mô tô và các loại xe tương tự xe gắn máy sử dụng ô (dù);[object Object]d) Người được chở trên xe đạp, xe đạp máy bám, kéo, đẩy xe khác, vật khác, mang vác vật cồng kềnh.[object Object]3. Phạt tiền từ 200.000 đồng đến 300.000 đồng đối với người được chở trên xe mô tô, xe gắn máy (kể cả xe máy điện), các loại xe tương tự xe mô tô, các loại xe tương tự xe gắn máy, xe đạp máy (kể cả xe đạp điện) không đội “mũ bảo hiểm cho người đi mô tô, xe máy” hoặc đội “mũ bảo hiểm ch...	`Trong Nghị định này, các từ ngữ dưới đây được hiểu như sau:[object Object]`	`100/2019/nđ-cp_11`

Loss: CachedMultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "mini_batch_size": 32 5}

Evaluation Dataset

legal_retrieval_2

Dataset: legal_retrieval_2 at 0520159
Size: 640 evaluation samples
Columns: anchor, positive, negative, and positive_id

Approximate statistics based on the first 640 samples:

	anchor	positive	negative	positive_id
type	string	string	string	string
details	min: 9 tokens mean: 23.77 tokens max: 43 tokens	min: 28 tokens mean: 120.79 tokens max: 128 tokens	min: 21 tokens mean: 113.56 tokens max: 128 tokens	min: 12 tokens mean: 15.53 tokens max: 39 tokens

Samples:

anchor	positive	negative	positive_id
`Tiền lương của người quản lý công ty TNHH một thành viên do VIETTEL nắm giữ 100% vốn điều lệ được quy định như thế nào?`	['1. Tiền lương của người quản lý công ty được tính trong đơn giá tiền lương được giao ổn định và quỹ tiền lương thực hiện của công ty trách nhiệm hữu hạn một thành viên do Công ty mẹ - Tập đoàn Viễn thông Quân đội nắm giữ 100% vốn điều lệ theo quy định tại Điều 12 và Điều 13 Thông tư này.\n2. Căn cứ vào quỹ tiền lương thực hiện hằng năm, công ty thực hiện tạm ứng tiền lương và trả lương đối với người quản lý theo quy chế trả lương của công ty.']	`Một số từ ngữ trong Thông tư này được hiểu như sau:[object Object]`	`['33/2016/tt-blđtbxh_14']`
`Tiền lương của người quản lý công ty TNHH một thành viên do VIETTEL nắm giữ 100% vốn điều lệ được quy định như thế nào?`	['1. Tiền lương của người quản lý công ty được tính trong đơn giá tiền lương được giao ổn định và quỹ tiền lương thực hiện của công ty trách nhiệm hữu hạn một thành viên do Công ty mẹ - Tập đoàn Viễn thông Quân đội nắm giữ 100% vốn điều lệ theo quy định tại Điều 12 và Điều 13 Thông tư này.\n2. Căn cứ vào quỹ tiền lương thực hiện hằng năm, công ty thực hiện tạm ứng tiền lương và trả lương đối với người quản lý theo quy chế trả lương của công ty.']	1. Ủy ban Quản lý vốn nhà nước tại doanh nghiệp là cơ quan thuộc Chính phủ (sau đây gọi là Ủy ban); được Chính phủ giao thực hiện quyền, trách nhiệm của đại diện chủ sở hữu nhà nước đối với doanh nghiệp do Nhà nước nắm giữ 100% vốn điều lệ và phần vốn nhà nước đầu tư tại công ty cổ phần, công ty trách nhiệm hữu hạn hai thành viên trở lên theo quy định của pháp luật.[object Object]	`['33/2016/tt-blđtbxh_14']`
`Điều kiện về nhà xưởng, trang thiết bị của cơ sở sản xuất thức ăn, sản phẩm xử lý môi trường nuôi trồng thủy sản được quy định như thế nào?`	['1. Điểm c khoản 1 Điều 32 Luật Thủy sản được quy định cụ thể như sau:\na) Có nhà xưởng kết cấu vững chắc, nền không đọng nước, liên thông và một chiều từ nguyên liệu đến thành phẩm; tường, trần, vách ngăn, cửa bảo đảm yêu cầu về kiểm soát chất lượng, an toàn sinh học; khu chứa trang thiết bị, nguyên liệu vật liệu, thành phẩm bảo đảm không nhiễm chéo lẫn nhau và bảo đảm theo yêu cầu bảo quản của nhà sản xuất, cung cấp;\nb) Trang thiết bị tiếp xúc với nguyên liệu, thành phẩm bảo đảm yêu cầu về kiểm soát chất lượng, an toàn sinh học; thiết bị thu gom và xử lý chất thải không gây ô nhiễm môi trường khu vực sản xuất. Trường hợp cơ sở sản xuất sinh khối vi sinh vật để sản xuất chế phẩm sinh học, vi sinh vật phải có thiết bị tạo môi trường, lưu giữ và nuôi cấy vi sinh vật.\n2. Điểm d khoản 1 Điều 32 Luật Thủy sản được quy định cụ thể như sau: Có phòng thử nghiệm hoặc có thuê phòng thử nghiệm đủ năng lực để kiểm tra chất lượng trong quá trình sản xuất.\n3. Điểm đ khoản 1 Điều 32 Luật Thủy sả...	`Cơ sở mua bán, nhập khẩu thức ăn thủy sản, sản phẩm xử lý môi trường nuôi trồng thủy sản phải đáp ứng các điều kiện sau đây:[object Object]`	`['26/2019/nđ-cp_27']`

Loss: CachedMultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "mini_batch_size": 32 5}

Training Hyperparameters

Non-Default Hyperparameters

overwrite_output_dir: True
do_predict: True
eval_strategy: epoch
per_device_train_batch_size: 32
per_device_eval_batch_size: 32
eval_accumulation_steps: 1
num_train_epochs: 5.0
lr_scheduler_type: constant
save_only_model: True
bf16: True
tf32: True
disable_tqdm: True
load_best_model_at_end: True
optim: adamw_torch_fused
use_liger_kernel: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: True
do_predict: True
eval_strategy: epoch
prediction_loss_only: True
per_device_train_batch_size: 32
per_device_eval_batch_size: 32
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: 1
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 5.0
max_steps: -1
lr_scheduler_type: constant
lr_scheduler_kwargs: {}
warmup_ratio: 0.0
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: True
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: True
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: True
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
tp_size: 0
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: True
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
attn_implementation: flash_attention_2

Training Logs

Epoch	Step	Training Loss	Validation Loss
0.3106	50	0.9867	-
0.6211	100	0.3767	-
0.9317	150	0.1682	-
1.0	161	-	0.2302
1.2422	200	0.0632	-
1.5528	250	0.0628	-
1.8634	300	0.0503	-
2.0	322	-	0.1976
2.1739	350	0.0369	-
2.4845	400	0.0369	-
2.7950	450	0.0479	-
3.0	483	-	0.1819
3.1056	500	0.032	-
3.4161	550	0.0162	-
3.7267	600	0.0229	-
4.0	644	-	0.1896
4.0373	650	0.0151	-
4.3478	700	0.0178	-
4.6584	750	0.0144	-
4.9689	800	0.0144	-
5.0	805	-	0.1846

The bold row denotes the saved checkpoint.

Framework Versions

Python: 3.10.12
Sentence Transformers: 4.1.0
Transformers: 4.50.0
PyTorch: 2.6.0+cu124
Accelerate: 1.6.0
Datasets: 2.21.0
Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

bibtex

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}