This is a sentence-transformers model finetuned from truro7/vn-law-embedding. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: truro7/vn-law-embedding
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'nghĩa vụ đăng ký tạm trú được quy định như thế nào đối với hssv ngoại trú và hssv nội trú ?',
    'hiện hành của Nhà nước. 7. HSSV nữ. 8. HSSV tích cực tham gia các hoạt động do nhà trường, Đoàn TNCS Hồ Chí Minh, Hội Sinh viên, khu nội trú hoặc các tổ chức xã hội tổ chức. 156 \n \nĐiều 5. Quyền của học sinh, sinh viên nội trú  \n1. Được tôn trọng và đối xử bình đẳng; được ở và sử dụng các trang thiết bị \ntrong khu nội trú theo hợp đồng nội trú đã ký với nhà trường (hoặc Trưởng ban quản \nlý khu nội trú) để phục vụ học tập và sinh hoạt.  \n2. Được tham gia các hoạt động phục vụ đời sống văn hoá, tinh thần do nhà \ntrường tổ chức trong khu nội trú.  \n3. Được đảm bảo an ninh, trật tự, an toàn và vệ sinh môi trường trong khu nội \ntrú.  \n4. Được kiến nghị với Trưởng ban quản lý khu nội trú và nhà trường các giải \npháp để góp phần xây dựng khu nội trú văn minh, sạch đẹp, an toàn; được đề đạt \nnguyện vọng và khiếu nại lên trưởng ban quản lý khu nội trú của nhà trường giải \nquyết các vấn đề có liên quan đến quyền, lợi ích chính đáng của HSSV trong khu \nnội trú.  \nĐiều 6. Nghĩa vụ của học sinh, sinh viên nội trú  \n1. Thực hiện đăng ký tạm trú theo đúng quy định của Luật Cư trú hiện hành. \nNếu vắng mặt tại khu nội trú quá 1 ngày phải báo với Ban quản lý khu nội trú.  \n2. Chấp hành các quy định của khu nội trú về việc tiếp khách trong phòng ở, \ngiờ tự học, tổ chức các sinh hoạt văn hóa, văn nghệ, không gây ảnh hưởng đến việc \nhọc tập, sinh hoạt của HSSV khác trong phòng ở và khu nội trú. Đoàn kết thực hiện \nnếp sống văn minh, văn hóa trong khu nội trú.  \n3. Tiết kiệm điện, nước, phòng chống cháy nổ, có ý thức giữ gìn và bảo vệ tài \nsản chung trong khu nội trú.  \n4. Nộp đủ và đúng hạn phí nội trú theo quy định trong hợp đồng.  \n5. Nếu làm hư hỏng, mất mát tài sản của khu nội trú phải bồi thường theo quy \nđịnh của Ban quản lý khu nội trú.',
    'Trở thành một trường đại học hàng đầu tại Việt Nam và \nĐông Nam Á về đào tạo, nghiên cứu khoa học, công nghệ \nnền tảng của kinh tế tri thức và kinh tế số.\nTẦM NHÌN 2030\nTrường Đại học Khoa học tự nhiên là trung tâm đào tạo, \nnghiên cứu, phát triển và triển khai ứng dụng khoa học \ncông nghệ, cung cấp nguồn nhân lực và sản phẩm khoa học \ncông nghệ đáp ứng yêu cầu phát triển kinh tế - xã hội đất nước.\nSỨ MẠNG\nSỨ MẠNG, TẦM NHÌN,\nTRIẾT LÝ GIÁO DỤC\n1',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Dataset: dim_128
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.9013
cosine_accuracy@3	0.9893
cosine_accuracy@5	0.9987
cosine_accuracy@10	0.9987
cosine_precision@1	0.9013
cosine_precision@3	0.4636
cosine_precision@5	0.2877
cosine_precision@10	0.1447
cosine_recall@1	0.7172
cosine_recall@3	0.9693
cosine_recall@5	0.9922
cosine_recall@10	0.996
cosine_ndcg@10	0.9526
cosine_mrr@10	0.9443
cosine_map@100	0.9335

Training Details

Training Dataset

Unnamed Dataset

Size: 8,848 training samples
Columns: anchors and positives
Approximate statistics based on the first 1000 samples:
anchors positives
type string string
details
min: 4 tokens
mean: 25.32 tokens
max: 78 tokens
min: 52 tokens
mean: 399.35 tokens
max: 512 tokens

Samples:

anchors	positives
`vi phạm nội trú thì xử lý theo quy chế nào`	đủ và đúng hạn phí nội trú theo quy định trong hợp đồng. 5. Nếu làm hư hỏng, mất mát tài sản của khu nội trú phải bồi thường theo quy định của Ban quản lý khu nội trú. 157 [object Object] [object Object]6. Phản ánh kịp thời các vụ việc xảy ra trong khu nội trú liên quan đến HSSV vi [object Object]phạm nội quy, quy chế và các đề xuất, kiến nghị chính đáng với Ban quản lý khu nội [object Object]trú. [object Object]7. Tích cực tham gia các hoạt động văn hóa, văn nghệ, thể dục thể thao, phòng [object Object]chống ma túy, phòng chống tội phạm và các tệ nạn xã hội, các hoạt động khác do [object Object]nhà trường hoặc Ban quản lý khu nội trú tổ chức; tích cực tham gia xây dựng khu [object Object]nội trú văn minh, sạch đẹp, an toàn. [object Object]Điều 7. Các hành vi học sinh, sinh viên nội trú không được làm [object Object]1. Cải tạo phòng, thay đổi hoặc tự ý di chuyển trang thiết bị trong phòng ở; gây [object Object]mất trật tự, an ninh, vệ sinh môi trường; viết vẽ, che chắn làm mất mỹ quan trong [object Object]phòng ở và khu sinh hoạt chung của khu nội trú. [object Object]2. Chuyển nhượng hoặc cho thuê lại hợp đồng ở nội trú đã ký với nhà trường [object Object]hoặc Ban quản lý kh...
`vi phạm nội trú thì xử lý theo quy chế nào`	1. Các sở giáo dục và đào tạo, các cơ quan có liên quan và các nhà trường theo thẩm quyền tổ chức kiểm tra, sơ kết, tổng kết, đánh giá việc thực hiện công tác HSSV nội trú. 158 [object Object] [object Object]2. HSSV nội trú vi phạm các khoản 1, 2, 3, 4, 5 Điều 6 và Điều 7 của Quy chế [object Object]này, tùy theo mức độ sẽ bị nhà trường xử lý kỷ luật bằng hình thức khiển trách nếu [object Object]vi phạm lần 1, cảnh cáo nếu vi phạm lần thứ 2 trở lên hoặc bị xem xét, chấm dứt [object Object]hợp đồng ở khu nội trú. Những vi phạm khác xử lý kỷ luật theo quy định của Quy [object Object]chế HSSV các trường trường đại học, cao đẳng và trung cấp chuyên nghiệp hệ chính [object Object]quy đối với HSSV chính quy, Quy chế Học viên các trường đại học, cao đẳng và [object Object]trung cấp chuyên nghiệp hình thức vừa làm vừa học và Điều lệ trường trung học cơ [object Object]sở, trường trung học phổ thông và trường phổ thông có nhiều cấp học. [object Object]3. Các tập thể, cá nhân có thành tích trong công tác HSSV nội trú được xem [object Object]xét khen thưởng theo quy định.
`những quy định nào giúp đảm bảo sinh viên không bị quá tải học phần ?`	trí đều trong các tuần của học kỳ. Trong trường hợp cần thiết phải xếp lịch học tập trung thời gian, số giờ giảng đối với một học phần bất kỳ không vượt quá 15 giờ/tuần và 4 giờ/ngày. 64 [object Object] [object Object]7. Phân bố giờ học [object Object]a) Giờ của tiết học tại cơ sở 227 Nguyễn Văn Cừ: [object Object]Buổi sáng [object Object]Tiết 1: 6g40-7g30[object Object]Tiết 2: 7g30-8g20[object Object]Tiết 3: 8g30-9g20 [object Object]Tiết 4: 9g20-10g10 [object Object]Tiết 5: 10g20-11g10 [object Object]Tiết 6: 11g10-12g00 [object Object][object Object]Buổi chiều [object Object]Tiết 7: 12g30-13g20 [object Object]Tiết 8: 13g20-14g10 [object Object]Tiết 9: 14g20-15g10 [object Object]Tiết 10: 15g10-16g00[object Object]Tiết 11: 16g10-17g00 [object Object]Tiết 12: 17g00-17g50 [object Object][object Object]Buổi tối [object Object]Tiết 13:18g00-18g50 [object Object]Tiết 14: 18g50-19g40 [object Object]Tiết 15: 19g40-20g30 [object Object][object Object] [object Object] [object Object]b) Giờ của tiết học tại cơ sở Linh Trung: [object Object]Buổi sáng [object Object]Tiết 1: 7g30-8g20 [object Object]Tiết 2: 8g20-9g10 [object Object]Tiết 3: 9g20-10g10 [object Object]Tiết 4: 10g10-11g00 [object Object]Tiết 6: 12g30-13g20 [object Object]Tiết 5: 11g10-12g00 [object Object]Buổi chiều [object Object]Tiết 7: 13g20-14g10 [object Object]Tiết 8: 14g20-15g10 [object Object]Tiết 9: 15g10-16g00 [object Object]Tiết 10: 16g10-17g00 [object Object] [object Object]Điều 7. Tổ chức đăng ký học tập [object Object]1. Đăng ký học phần: [object Object]a) Đầu mỗi học kỳ, sinh viên phải theo dõi thông báo để nắm ...

Loss: MatryoshkaLoss with these parameters:
json
1{ 2 "loss": "MultipleNegativesRankingLoss", 3 "matryoshka_dims": [ 4 768, 5 512, 6 256, 7 128 8 ], 9 "matryoshka_weights": [ 10 1, 11 1, 12 1, 13 1 14 ], 15 "n_dims_per_step": -1 16}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 4
per_device_eval_batch_size: 4
gradient_accumulation_steps: 4
learning_rate: 3e-05
num_train_epochs: 10
lr_scheduler_type: cosine
warmup_ratio: 0.15
bf16: True
load_best_model_at_end: True
optim: adamw_torch_fused
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 4
per_device_eval_batch_size: 4
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 4
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 3e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 10
max_steps: -1
lr_scheduler_type: cosine
lr_scheduler_kwargs: {}
warmup_ratio: 0.15
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	dim_128_cosine_ndcg@10
-1	-1	-	0.6107
0.1085	30	9.8551	0.6259
0.2170	60	9.0754	0.6484
0.3255	90	6.8585	0.6729
0.4340	120	6.1144	0.6971
0.5425	150	5.6528	0.7277
0.6510	180	4.1877	0.7421
0.7595	210	4.7228	0.7576
0.8680	240	4.0221	0.7697
0.9765	270	3.9123	0.7772
1.0832	300	3.5228	0.7999
1.1917	330	2.4771	0.8097
1.3002	360	3.1504	0.8105
1.4087	390	2.9297	0.8127
1.5172	420	2.7076	0.8229
1.6257	450	2.7434	0.8452
1.7342	480	2.561	0.8357
1.8427	510	2.4285	0.8446
1.9512	540	2.2157	0.8451
2.0579	570	1.8836	0.8546
2.1664	600	1.5806	0.8517
2.2749	630	1.445	0.8616
2.3834	660	1.5858	0.8754
2.4919	690	1.7178	0.8708
2.6004	720	2.048	0.8683
2.7089	750	1.9854	0.8690
2.8174	780	1.7509	0.8744
2.9259	810	1.7643	0.8781
3.0325	840	1.3132	0.8870
3.1410	870	1.4164	0.8856
3.2495	900	1.3193	0.8870
3.3580	930	1.176	0.8973
3.4665	960	1.1743	0.8947
3.5750	990	1.0814	0.8951
3.6835	1020	1.0118	0.9051
3.7920	1050	1.5867	0.9089
3.9005	1080	1.4378	0.9092
4.0072	1110	1.0735	0.9066
4.1157	1140	0.8998	0.9089
4.2242	1170	0.9332	0.9100
4.3327	1200	1.2196	0.9123
4.4412	1230	1.08	0.9104
4.5497	1260	1.0907	0.9057
4.6582	1290	0.8068	0.9099
4.7667	1320	1.1293	0.9115
4.8752	1350	0.8142	0.9229
4.9837	1380	1.0416	0.9265
5.0904	1410	0.742	0.9270
5.1989	1440	0.6726	0.9245
5.3074	1470	0.7095	0.9283
5.4159	1500	0.8308	0.9261
5.5244	1530	0.8933	0.9280
5.6329	1560	0.9554	0.9254
5.7414	1590	1.0155	0.9275
5.8499	1620	0.7671	0.9278
5.9584	1650	1.0426	0.9298
6.0651	1680	0.8879	0.9345
6.1736	1710	0.6999	0.9339
6.2821	1740	0.7144	0.9354
6.3906	1770	1.0946	0.9336
6.4991	1800	0.5136	0.9391
6.6076	1830	0.3708	0.9392
6.7161	1860	0.6965	0.9391
6.8246	1890	0.618	0.9384
6.9331	1920	1.137	0.9394
7.0398	1950	0.5326	0.9406
7.1483	1980	0.804	0.9402
7.2568	2010	0.7989	0.9433
7.3653	2040	0.6908	0.9422
7.4738	2070	0.6518	0.9448
7.5823	2100	0.4915	0.9469
7.6908	2130	0.4586	0.9473
7.7993	2160	0.4537	0.9470
7.9078	2190	0.5117	0.9475
8.0145	2220	0.6986	0.9486
8.1230	2250	0.439	0.9472
8.2315	2280	0.7161	0.9472
8.3400	2310	0.6017	0.9474
8.4485	2340	0.5401	0.9484
8.5570	2370	0.5061	0.9504
8.6655	2400	0.6934	0.9502
8.7740	2430	0.4517	0.9518
8.8825	2460	0.572	0.9526
8.9910	2490	0.443	0.9528
9.0976	2520	0.5398	0.9523
9.2061	2550	0.6212	0.9517
9.3146	2580	0.649	0.9518
9.4231	2610	0.3859	0.9523
9.5316	2640	0.4697	0.9526

Framework Versions

Python: 3.11.13
Sentence Transformers: 4.1.0
Transformers: 4.52.4
PyTorch: 2.6.0+cu124
Accelerate: 1.8.1
Datasets: 3.6.0
Tokenizers: 0.21.2

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

bibtex

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

bibtex

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

	anchors	positives
type	string	string
details	min: 4 tokens mean: 25.32 tokens max: 78 tokens	min: 52 tokens mean: 399.35 tokens max: 512 tokens

truro7/hcmus_handbook

SentenceTransformer based on truro7/vn-law-embedding

Model Details

Model Description

Model Sources

Full Model Architecture

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Information Retrieval

Training Details

Training Dataset

Unnamed Dataset

Training Hyperparameters

Non-Default Hyperparameters

All Hyperparameters

Training Logs

Framework Versions

Citation

BibTeX

Sentence Transformers

MatryoshkaLoss

MultipleNegativesRankingLoss

truro7/
hcmus_handbook