This is a sentence-transformers model finetuned from bkai-foundation-models/vietnamese-bi-encoder on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: bkai-foundation-models/vietnamese-bi-encoder
Maximum Sequence Length: 256 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- json

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("pvquaan/vietquan_legal_embedding_v3")
# Run inference
sentences = [
    'Giả sử một Kế hoạch phòng ngừa, ứng phó sự cố hóa chất của một ngành sản xuất hóa chất cụ thể cần được phê duyệt, dựa vào Điều 41 Luật Hóa chất, những cơ quan nào chắc chắn sẽ tham gia vào quá trình này và lý do cho sự tham gia của họ là gì? Điều 41. Thẩm quyền phê duyệt Kế hoạch phòng ngừa, ứng phó sự cố hóa chất\n\nBộ quản lý ngành, lĩnh vực chủ trì, phối hợp với cơ quan quản lý nhà nước về phòng cháy, chữa cháy, Bộ Công thương và cơ quan quản lý nhà nước có liên quan tổ chức thẩm định, phê duyệt Kế hoạch phòng ngừa, ứng phó sự cố hóa chất.',
    'Dựa trên Điều 41 Luật Hóa chất, khi một Kế hoạch phòng ngừa, ứng phó sự cố hóa chất của một ngành sản xuất hóa chất cụ thể cần được phê duyệt, các cơ quan sau đây chắc chắn sẽ tham gia:\n1. **Bộ quản lý ngành, lĩnh vực**: Đây sẽ là Bộ chủ trì, ví dụ như Bộ Công Thương (nếu ngành sản xuất hóa chất thuộc phạm vi quản lý của Bộ này) hoặc một Bộ chuyên ngành khác nếu có. Lý do là Điều 41 quy định rõ "Bộ quản lý ngành, lĩnh vực chủ trì" việc tổ chức thẩm định, phê duyệt.\n2. **Cơ quan quản lý nhà nước về phòng cháy, chữa cháy**: Cơ quan này sẽ phối hợp vì sự cố hóa chất thường tiềm ẩn nguy cơ cháy nổ cao, đòi hỏi chuyên môn về phòng cháy, chữa cháy để đảm bảo kế hoạch có các biện pháp ứng phó hiệu quả và an toàn.\n3. **Bộ Công thương**: Bộ này được nêu tên cụ thể trong điều luật là một trong các cơ quan phối hợp. Điều này phản ánh vai trò quản lý nhà nước của Bộ đối với lĩnh vực công nghiệp và thương mại hóa chất, bao gồm cả các hoạt động sản xuất.\n4. **Cơ quan quản lý nhà nước có liên quan**: Tùy thuộc vào tính chất cụ thể của ngành sản xuất hóa chất và các yếu tố liên quan (ví dụ: tác động môi trường, sức khỏe cộng đồng), các cơ quan khác như Bộ Tài nguyên và Môi trường, Bộ Y tế có thể được xem là "cơ quan quản lý nhà nước có liên quan" và sẽ phối hợp. Sự tham gia của các cơ quan này nhằm đảm bảo Kế hoạch được thẩm định và phê duyệt một cách toàn diện, bao quát mọi khía cạnh từ quản lý ngành, an toàn cháy nổ, đến các tác động tiềm ẩn khác, phù hợp với quy định tại Điều 41.',
    'Dựa trên Điều 16 Luật Điện lực, đặc biệt là Khoản 1, một doanh nghiệp sản xuất linh kiện điện tử khi đầu tư dây chuyền sản xuất mới cần lưu ý và thực hiện các biện pháp sau để đảm bảo tuân thủ quy định về tiết kiệm điện:1. Áp dụng công nghệ và trang thiết bị hiệu suất cao: Doanh nghiệp phải ưu tiên lựa chọn và áp dụng công nghệ, trang thiết bị sử dụng điện có suất tiêu hao điện năng thấp (Khoản 1.b).2. Quản lý nhu cầu và hạn chế sử dụng giờ cao điểm: Doanh nghiệp cần xây dựng chương trình quản lý nhu cầu điện để giảm chênh lệch công suất giữa giờ cao điểm và giờ thấp điểm. Đồng thời, phải hạn chế tối đa việc sử dụng các thiết bị điện công suất lớn vào giờ cao điểm của biểu đồ phụ tải hệ thống điện (Khoản 1.a và 1.c).3. Đảm bảo hệ số công suất và tránh non tải: Doanh nghiệp phải đảm bảo hệ số công suất của các thiết bị điện theo tiêu chuẩn kỹ thuật và hạn chế tối đa việc sử dụng thiết bị điện non tải, gây lãng phí điện năng (Khoản 1.d).4. Thực hiện kiểm toán năng lượng: Doanh nghiệp có trách nhiệm tổ chức kiểm toán năng lượng theo định kỳ và thực hiện các giải pháp điều chỉnh sau khi có kết luận kiểm toán theo quy định của Bộ Công nghiệp (Khoản 1.đ).Mục đích rộng hơn của các yêu cầu này là không chỉ giảm chi phí cho doanh nghiệp mà còn góp phần vào việc sử dụng điện hiệu quả trên toàn hệ thống, giảm áp lực lên lưới điện quốc gia, đặc biệt trong các giờ cao điểm, và thúc đẩy phát triển bền vững.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Dataset: vlegal-bench
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.0938
cosine_accuracy@3	0.0984
cosine_accuracy@5	0.0992
cosine_accuracy@10	0.0995
cosine_precision@1	0.0938
cosine_precision@3	0.0328
cosine_precision@5	0.0198
cosine_precision@10	0.0099
cosine_recall@1	0.0938
cosine_recall@3	0.0984
cosine_recall@5	0.0992
cosine_recall@10	0.0995
cosine_ndcg@10	0.0971
cosine_mrr@10	0.0962
cosine_map@100	0.0964

Training Details

Training Dataset

json

Dataset: json
Size: 191,504 training samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 38 tokens
mean: 231.92 tokens
max: 256 tokens
min: 28 tokens
mean: 168.05 tokens
max: 256 tokens

Samples:

anchor	positive
Theo Điều 5 Luật Địa chất và Khoáng sản, hội nhập và hợp tác quốc tế về địa chất, khoáng sản được thực hiện trong những hoạt động cụ thể nào? Điều 5. Nguyên tắc hội nhập và hợp tác quốc tế về địa chất, khoáng sản[object Object][object Object]1. Hội nhập và hợp tác quốc tế trong nghiên cứu, điều tra cơ bản địa chất, điều tra địa chất về khoáng sản, hoạt động khoáng sản, quản lý hoạt động khoáng sản phải đặt trong tổng thể chiến lược phát triển kinh tế - xã hội của đất nước trong từng thời kỳ; chiến lược địa chất, khoáng sản và công nghiệp khai khoáng; tuân thủ Hiến pháp, pháp luật Việt Nam, Hiến chương Liên hợp quốc, điều ước quốc tế mà nước Cộng hòa xã hội chủ nghĩa Việt Nam là thành viên, bảo đảm phù hợp với đường lối và chính sách đối ngoại của Việt Nam; bảo đảm nguyên tắc hợp tác bình đẳng, cùng có lợi trên cơ sở tôn trọng độc lập, chủ quyền và toàn vẹn lãnh thổ, không can thiệp vào công việc nội bộ của nhau.[object Object][object Object]2. Tranh chấp quốc tế về địa chất, khoáng sản được giải quyết thông qua các biện pháp hòa bình, theo ...	`Theo Khoản 1 Điều 5 Luật Địa chất và Khoáng sản, hội nhập và hợp tác quốc tế về địa chất, khoáng sản được thực hiện trong các hoạt động sau: nghiên cứu, điều tra cơ bản địa chất; điều tra địa chất về khoáng sản; hoạt động khoáng sản; và quản lý hoạt động khoáng sản.`
Theo Điều 5 của Luật, khi thực hiện hội nhập và hợp tác quốc tế về địa chất, khoáng sản, Việt Nam cần tuân thủ những nguyên tắc và khuôn khổ pháp lý nào? Điều 5. Nguyên tắc hội nhập và hợp tác quốc tế về địa chất, khoáng sản[object Object][object Object]1. Hội nhập và hợp tác quốc tế trong nghiên cứu, điều tra cơ bản địa chất, điều tra địa chất về khoáng sản, hoạt động khoáng sản, quản lý hoạt động khoáng sản phải đặt trong tổng thể chiến lược phát triển kinh tế - xã hội của đất nước trong từng thời kỳ; chiến lược địa chất, khoáng sản và công nghiệp khai khoáng; tuân thủ Hiến pháp, pháp luật Việt Nam, Hiến chương Liên hợp quốc, điều ước quốc tế mà nước Cộng hòa xã hội chủ nghĩa Việt Nam là thành viên, bảo đảm phù hợp với đường lối và chính sách đối ngoại của Việt Nam; bảo đảm nguyên tắc hợp tác bình đẳng, cùng có lợi trên cơ sở tôn trọng độc lập, chủ quyền và toàn vẹn lãnh thổ, không can thiệp vào công việc nội bộ của nhau.[object Object][object Object]2. Tranh chấp quốc tế về địa chất, khoáng sản được giải quyết thông qua các biện pháp hòa...	Khi thực hiện hội nhập và hợp tác quốc tế về địa chất, khoáng sản, Việt Nam cần tuân thủ một số nguyên tắc và khuôn khổ pháp lý quan trọng. Cụ thể, Khoản 1 Điều 5 quy định việc này phải đặt trong tổng thể chiến lược phát triển kinh tế - xã hội của đất nước, chiến lược địa chất, khoáng sản và công nghiệp khai khoáng. Về khuôn khổ pháp lý, Việt Nam phải tuân thủ Hiến pháp, pháp luật Việt Nam, Hiến chương Liên hợp quốc, và các điều ước quốc tế mà Cộng hòa xã hội chủ nghĩa Việt Nam là thành viên. Đồng thời, việc hợp tác phải bảo đảm phù hợp với đường lối và chính sách đối ngoại của Việt Nam, và tuân thủ nguyên tắc hợp tác bình đẳng, cùng có lợi trên cơ sở tôn trọng độc lập, chủ quyền và toàn vẹn lãnh thổ, không can thiệp vào công việc nội bộ của nhau.
Giả sử có một tranh chấp quốc tế phát sinh liên quan đến địa chất, khoáng sản mà Việt Nam là một bên, việc giải quyết tranh chấp này sẽ được thực hiện theo nguyên tắc và cơ sở pháp lý nào theo Luật Địa chất và Khoáng sản? Hãy phân tích ý nghĩa của quy định này. Điều 5. Nguyên tắc hội nhập và hợp tác quốc tế về địa chất, khoáng sản[object Object][object Object]1. Hội nhập và hợp tác quốc tế trong nghiên cứu, điều tra cơ bản địa chất, điều tra địa chất về khoáng sản, hoạt động khoáng sản, quản lý hoạt động khoáng sản phải đặt trong tổng thể chiến lược phát triển kinh tế - xã hội của đất nước trong từng thời kỳ; chiến lược địa chất, khoáng sản và công nghiệp khai khoáng; tuân thủ Hiến pháp, pháp luật Việt Nam, Hiến chương Liên hợp quốc, điều ước quốc tế mà nước Cộng hòa xã hội chủ nghĩa Việt Nam là thành viên, bảo đảm phù hợp với đường lối và chính sách đối ngoại của Việt Nam; bảo đảm nguyên tắc hợp tác bình đẳng, cùng có lợi trên cơ sở tôn trọng độc lập, chủ quyền và toàn vẹn lãnh thổ, không can thiệp vào công việc...	Theo Khoản 2 Điều 5 Luật Địa chất và Khoáng sản, nếu có một tranh chấp quốc tế phát sinh liên quan đến địa chất, khoáng sản, việc giải quyết tranh chấp này sẽ được thực hiện thông qua các biện pháp hòa bình. Cơ sở pháp lý để giải quyết bao gồm thông lệ quốc tế, pháp luật quốc tế và pháp luật của các bên liên quan.Ý nghĩa của quy định này rất quan trọng. Thứ nhất, nó khẳng định cam kết của Việt Nam trong việc tuân thủ luật pháp quốc tế và các nguyên tắc giải quyết tranh chấp một cách hòa bình, tránh sử dụng vũ lực hoặc các biện pháp cưỡng ép. Thứ hai, việc tham chiếu đến “thông lệ quốc tế, pháp luật quốc tế và pháp luật của các bên liên quan” cho thấy sự linh hoạt và toàn diện trong việc áp dụng các quy tắc pháp lý, đảm bảo rằng việc giải quyết tranh chấp được thực hiện công bằng, minh bạch và có tính đến các yếu tố đặc thù của từng trường hợp. Cuối cùng, điều này cũng phù hợp với nguyên tắc hợp tác bình đẳng, cùng có lợi, tôn trọng độc lập, chủ quyền và không can thiệp vào công việc nộ...

Loss: MatryoshkaLoss with these parameters:
json
1{ 2 "loss": "MultipleNegativesRankingLoss", 3 "matryoshka_dims": [ 4 768, 5 512, 6 256, 7 128, 8 64 9 ], 10 "matryoshka_weights": [ 11 1, 12 1, 13 1, 14 1, 15 1 16 ], 17 "n_dims_per_step": -1 18}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 16
gradient_accumulation_steps: 2
num_train_epochs: 1
warmup_ratio: 0.05
fp16: True
load_best_model_at_end: True

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 16
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 2
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.05
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	vlegal-bench_cosine_ndcg@10
0.0334	100	0.325	-
0.0668	200	0.2055	-
0.1003	300	0.1912	-
0.1337	400	0.1665	-
0.1671	500	0.126	-
0.2005	600	0.1377	-
0.2339	700	0.136	-
0.2673	800	0.1197	-
0.3008	900	0.1157	-
0.3342	1000	0.1201	0.0972
0.3676	1100	0.0939	-
0.4010	1200	0.0972	-
0.4344	1300	0.0581	-
0.4678	1400	0.0885	-
0.5013	1500	0.0655	-
0.5347	1600	0.0681	-
0.5681	1700	0.0557	-
0.6015	1800	0.0791	-
0.6349	1900	0.0632	-
0.6683	2000	0.0683	0.0971
0.7018	2100	0.0611	-
0.7352	2200	0.0587	-
0.7686	2300	0.054	-
0.8020	2400	0.0393	-
0.8354	2500	0.0495	-
0.8688	2600	0.0349	-
0.9023	2700	0.041	-
0.9357	2800	0.0581	-
0.9691	2900	0.0486	-

The bold row denotes the saved checkpoint.

Framework Versions

Python: 3.12.12
Sentence Transformers: 3.3.1
Transformers: 4.47.1
PyTorch: 2.10.0+cu128
Accelerate: 0.34.2
Datasets: 2.21.0
Tokenizers: 0.21.4

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

bibtex

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

bibtex

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

	anchor	positive
type	string	string
details	min: 38 tokens mean: 231.92 tokens max: 256 tokens	min: 28 tokens mean: 168.05 tokens max: 256 tokens