This is a sentence-transformers model finetuned from bkai-foundation-models/vietnamese-bi-encoder on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: bkai-foundation-models/vietnamese-bi-encoder
Maximum Sequence Length: 256 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- json

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("vtgh1602/giahuy_legal_embedding_v1")
# Run inference
sentences = [
    'Hãy giải thích cơ sở và khung thời gian để xây dựng quy hoạch công nghiệp hóa chất theo quy định của pháp luật. Điều 8. Yêu cầu đối với quy hoạch công nghiệp hóa chất\n\n1. Quy hoạch công nghiệp hóa chất phải phù hợp với nguyên tắc và chính sách của Nhà nước về hoạt động hóa chất, quy định của Luật này và các quy định khác của pháp luật có liên quan.\n\n2. Quy hoạch công nghiệp hóa chất được xây dựng trên cơ sở chiến lược phát triển kinh tế - xã hội của cả nước, chiến lược phát triển các ngành công nghiệp và được lập cho từng giai đoạn mười năm, định hướng cho mười năm tiếp theo.\n\n3. Quy hoạch công nghiệp hóa chất phải định hướng hình thành các khu công nghiệp hóa chất tập trung.\n\n4. Địa điểm bố trí khu công nghiệp, cơ sở sản xuất hóa chất phải phù hợp với đặc điểm, tính chất của hóa chất và công nghệ sản xuất, bảo quản hóa chất, điều kiện tự nhiên, điều kiện kinh tế - xã hội nhằm đáp ứng yêu cầu an toàn hóa chất.',
    'Quy hoạch công nghiệp hóa chất được xây dựng trên cơ sở chiến lược phát triển kinh tế - xã hội của cả nước, chiến lược phát triển các ngành công nghiệp. Về khung thời gian, quy hoạch này được lập cho từng giai đoạn mười năm và có định hướng cho mười năm tiếp theo (Điều 8 Khoản 2).',
    'Theo Khoản 1 Điều 23 của Dự thảo Luật Sản xuất sản phẩm công nghiệp trọng điểm, tổ chức, cá nhân nghiên cứu và phát triển sản xuất sản phẩm công nghiệp hỗ trợ được hưởng các loại tài trợ kinh phí sau:\n\n1.  **Tài trợ từ các chương trình, quỹ:** Được tài trợ kinh phí từ các chương trình phát triển khoa học và công nghệ, hỗ trợ từ các Quỹ, nguồn kinh phí khác dành cho nghiên cứu, phát triển và đào tạo (Khoản 1a).\n2.  **Hỗ trợ cho tự đầu tư R&D hiệu quả cao:** Được xem xét hỗ trợ một phần kinh phí nghiên cứu và phát triển từ các chương trình phát triển khoa học và công nghệ đối với trường hợp tự đầu tư nghiên cứu và phát triển công nghệ có kết quả ứng dụng mang lại hiệu quả cao (Khoản 1b).\n3.  **Hỗ trợ dự án sản xuất thử nghiệm:** Được xem xét hỗ trợ một phần kinh phí đối với dự án sản xuất thử nghiệm các sản phẩm công nghiệp chủ lực quốc gia (Khoản 1c).',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

json

Dataset: json
Size: 29,145 training samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 38 tokens
mean: 231.95 tokens
max: 256 tokens
min: 28 tokens
mean: 168.05 tokens
max: 256 tokens

Samples:

anchor	positive
Theo Điều 5 Luật Địa chất và Khoáng sản, hội nhập và hợp tác quốc tế về địa chất, khoáng sản được thực hiện trong những hoạt động cụ thể nào? Điều 5. Nguyên tắc hội nhập và hợp tác quốc tế về địa chất, khoáng sản[object Object][object Object]1. Hội nhập và hợp tác quốc tế trong nghiên cứu, điều tra cơ bản địa chất, điều tra địa chất về khoáng sản, hoạt động khoáng sản, quản lý hoạt động khoáng sản phải đặt trong tổng thể chiến lược phát triển kinh tế - xã hội của đất nước trong từng thời kỳ; chiến lược địa chất, khoáng sản và công nghiệp khai khoáng; tuân thủ Hiến pháp, pháp luật Việt Nam, Hiến chương Liên hợp quốc, điều ước quốc tế mà nước Cộng hòa xã hội chủ nghĩa Việt Nam là thành viên, bảo đảm phù hợp với đường lối và chính sách đối ngoại của Việt Nam; bảo đảm nguyên tắc hợp tác bình đẳng, cùng có lợi trên cơ sở tôn trọng độc lập, chủ quyền và toàn vẹn lãnh thổ, không can thiệp vào công việc nội bộ của nhau.[object Object][object Object]2. Tranh chấp quốc tế về địa chất, khoáng sản được giải quyết thông qua các biện pháp hòa bình, theo ...	`Theo Khoản 1 Điều 5 Luật Địa chất và Khoáng sản, hội nhập và hợp tác quốc tế về địa chất, khoáng sản được thực hiện trong các hoạt động sau: nghiên cứu, điều tra cơ bản địa chất; điều tra địa chất về khoáng sản; hoạt động khoáng sản; và quản lý hoạt động khoáng sản.`
Theo Điều 5 của Luật, khi thực hiện hội nhập và hợp tác quốc tế về địa chất, khoáng sản, Việt Nam cần tuân thủ những nguyên tắc và khuôn khổ pháp lý nào? Điều 5. Nguyên tắc hội nhập và hợp tác quốc tế về địa chất, khoáng sản[object Object][object Object]1. Hội nhập và hợp tác quốc tế trong nghiên cứu, điều tra cơ bản địa chất, điều tra địa chất về khoáng sản, hoạt động khoáng sản, quản lý hoạt động khoáng sản phải đặt trong tổng thể chiến lược phát triển kinh tế - xã hội của đất nước trong từng thời kỳ; chiến lược địa chất, khoáng sản và công nghiệp khai khoáng; tuân thủ Hiến pháp, pháp luật Việt Nam, Hiến chương Liên hợp quốc, điều ước quốc tế mà nước Cộng hòa xã hội chủ nghĩa Việt Nam là thành viên, bảo đảm phù hợp với đường lối và chính sách đối ngoại của Việt Nam; bảo đảm nguyên tắc hợp tác bình đẳng, cùng có lợi trên cơ sở tôn trọng độc lập, chủ quyền và toàn vẹn lãnh thổ, không can thiệp vào công việc nội bộ của nhau.[object Object][object Object]2. Tranh chấp quốc tế về địa chất, khoáng sản được giải quyết thông qua các biện pháp hòa...	Khi thực hiện hội nhập và hợp tác quốc tế về địa chất, khoáng sản, Việt Nam cần tuân thủ một số nguyên tắc và khuôn khổ pháp lý quan trọng. Cụ thể, Khoản 1 Điều 5 quy định việc này phải đặt trong tổng thể chiến lược phát triển kinh tế - xã hội của đất nước, chiến lược địa chất, khoáng sản và công nghiệp khai khoáng. Về khuôn khổ pháp lý, Việt Nam phải tuân thủ Hiến pháp, pháp luật Việt Nam, Hiến chương Liên hợp quốc, và các điều ước quốc tế mà Cộng hòa xã hội chủ nghĩa Việt Nam là thành viên. Đồng thời, việc hợp tác phải bảo đảm phù hợp với đường lối và chính sách đối ngoại của Việt Nam, và tuân thủ nguyên tắc hợp tác bình đẳng, cùng có lợi trên cơ sở tôn trọng độc lập, chủ quyền và toàn vẹn lãnh thổ, không can thiệp vào công việc nội bộ của nhau.
Giả sử có một tranh chấp quốc tế phát sinh liên quan đến địa chất, khoáng sản mà Việt Nam là một bên, việc giải quyết tranh chấp này sẽ được thực hiện theo nguyên tắc và cơ sở pháp lý nào theo Luật Địa chất và Khoáng sản? Hãy phân tích ý nghĩa của quy định này. Điều 5. Nguyên tắc hội nhập và hợp tác quốc tế về địa chất, khoáng sản[object Object][object Object]1. Hội nhập và hợp tác quốc tế trong nghiên cứu, điều tra cơ bản địa chất, điều tra địa chất về khoáng sản, hoạt động khoáng sản, quản lý hoạt động khoáng sản phải đặt trong tổng thể chiến lược phát triển kinh tế - xã hội của đất nước trong từng thời kỳ; chiến lược địa chất, khoáng sản và công nghiệp khai khoáng; tuân thủ Hiến pháp, pháp luật Việt Nam, Hiến chương Liên hợp quốc, điều ước quốc tế mà nước Cộng hòa xã hội chủ nghĩa Việt Nam là thành viên, bảo đảm phù hợp với đường lối và chính sách đối ngoại của Việt Nam; bảo đảm nguyên tắc hợp tác bình đẳng, cùng có lợi trên cơ sở tôn trọng độc lập, chủ quyền và toàn vẹn lãnh thổ, không can thiệp vào công việc...	Theo Khoản 2 Điều 5 Luật Địa chất và Khoáng sản, nếu có một tranh chấp quốc tế phát sinh liên quan đến địa chất, khoáng sản, việc giải quyết tranh chấp này sẽ được thực hiện thông qua các biện pháp hòa bình. Cơ sở pháp lý để giải quyết bao gồm thông lệ quốc tế, pháp luật quốc tế và pháp luật của các bên liên quan.Ý nghĩa của quy định này rất quan trọng. Thứ nhất, nó khẳng định cam kết của Việt Nam trong việc tuân thủ luật pháp quốc tế và các nguyên tắc giải quyết tranh chấp một cách hòa bình, tránh sử dụng vũ lực hoặc các biện pháp cưỡng ép. Thứ hai, việc tham chiếu đến “thông lệ quốc tế, pháp luật quốc tế và pháp luật của các bên liên quan” cho thấy sự linh hoạt và toàn diện trong việc áp dụng các quy tắc pháp lý, đảm bảo rằng việc giải quyết tranh chấp được thực hiện công bằng, minh bạch và có tính đến các yếu tố đặc thù của từng trường hợp. Cuối cùng, điều này cũng phù hợp với nguyên tắc hợp tác bình đẳng, cùng có lợi, tôn trọng độc lập, chủ quyền và không can thiệp vào công việc nộ...

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 16
warmup_ratio: 0.1
fp16: True

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 16
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 3
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss
0.1098	100	0.0092
0.2195	200	0.0034
0.3293	300	0.0036
0.4391	400	0.0022
0.5488	500	0.0034
0.6586	600	0.0007
0.7684	700	0.0005
0.8782	800	0.0009
0.9879	900	0.0012
1.0977	1000	0.0003
1.2075	1100	0.0002
1.3172	1200	0.0001
1.4270	1300	0.0001
1.5368	1400	0.0002
1.6465	1500	0.001
1.7563	1600	0.0002
1.8661	1700	0.0002
1.9759	1800	0.0003
2.0856	1900	0.0001
2.1954	2000	0.0001
2.3052	2100	0.0
2.4149	2200	0.0001
2.5247	2300	0.0004
2.6345	2400	0.0
2.7442	2500	0.0001
2.8540	2600	0.0001
2.9638	2700	0.0001

Framework Versions

Python: 3.12.12
Sentence Transformers: 3.3.1
Transformers: 4.47.1
PyTorch: 2.10.0+cu128
Accelerate: 0.34.2
Datasets: 2.21.0
Tokenizers: 0.21.4

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

bibtex

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

	anchor	positive
type	string	string
details	min: 38 tokens mean: 231.95 tokens max: 256 tokens	min: 28 tokens mean: 168.05 tokens max: 256 tokens