SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: bkai-foundation-models/vietnamese-bi-encoder
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

Training Details

Training Dataset

json

• Dataset: json
• Size: 38,845 training samples
• Columns: query and pos
• Approximate statistics based on the first 1000 samples:

  	query	pos
  type	string	string
  details	min: 8 tokens mean: 19.7 tokens max: 43 tokens	min: 89 tokens mean: 212.92 tokens max: 256 tokens

• Samples:

  query	pos
  Pháp_luật quy_định tỷ_lệ đại_diện của phụ_nữ trong Quốc_hội là bao_nhiêu ?	luật bầu_cử đại_biểu quốc_hội và đại_biểu hội_đồng_nhân_dân , chương ii dự_kiến cơ_cấu , thành_phần và phân_bổ đại_biểu quốc_hội , đại_biểu hội_đồng_nhân_dân ; đơn_vị bầu_cử và khu_vực bỏ_phiếu , điều 8 . dự_kiến cơ_cấu , thành_phần những người được giới_thiệu ứng_cử đại_biểu quốc_hội , khoản 2 , nội_dung : chính trị-xã_hội , tổ_chức xã_hội , lực_lượng_vũ_trang nhân_dân , cơ_quan nhà_nước ở trung_ương và địa_phương được giới_thiệu ứng_cử đại_biểu quốc_hội để bảo_đảm tỷ_lệ đại_diện hợp_lý của các tầng_lớp nhân_dân trong quốc_hội . 2 . số_lượng người dân_tộc_thiểu_số được giới_thiệu ứng_cử đại_biểu quốc_hội do ủy_ban thường_vụ quốc_hội dự_kiến trên cơ_sở đề_nghị của hội_đồng dân_tộc của quốc_hội , bảo_đảm có ít_nhất mười_tám phần_trăm tổng_số người trong danh_sách chính_thức những người ứng_cử đại_biểu quốc_hội là người dân_tộc_thiểu_số . 3 . số_lượng phụ_nữ được giới_thiệu ứng_cử đại_biểu quốc_hội do ủy_ban thường_vụ quốc_hội dự_kiến trên cơ_sở đề_nghị của đoàn_chủ_tịch ban_chấp_hành trung_ương hội liên_hiệp phụ_nữ việt_nam , bảo_đảm có ít_nhất ba mươi_lăm phần_trăm tổng_số người trong danh_sách chính_thức những người ứng_cử đại_biểu quốc_hội là phụ_nữ .
  Làm thế_nào để trích_xuất phạm_nhân để phục_vụ điều_tra , truy_tố , xét_xử ?	luật thi_hành án hình_sự , chương iii thi_hành án phạt tù_mục 1 thủ_tục thi_hành án phạt tù và chế_độ quản_lý giam_giữ , giáo_dục phạm_nhân , điều 40 . thực_hiện trích_xuất phạm_nhân , tiêu_đề : cơ_quan thi_hành án hình_sự công_an cấp huyện phải làm thủ_tục trả tự_do cho người được miễn_chấp_hành án và báo_cáo kết_quả cho cơ_quan quản_lý thi_hành án hình_sự hoặc cơ_quan thi_hành án hình_sự cấp trên . điều 40 . thực_hiện trích_xuất phạm_nhân 1 . cơ_quan , người có thẩm_quyền tiến_hành tố_tụng khi có yêu_cầu trích_xuất phạm_nhân phải gửi văn_bản yêu_cầu cho cơ_quan quản_lý thi_hành án hình_sự , cơ_quan thi_hành án hình_sự công_an cấp tỉnh , cơ_quan thi_hành án hình_sự cấp quân_khu nơi cơ_quan , người có thẩm_quyền tiến_hành tố_tụng có yêu_cầu trích_xuất để yêu_cầu người có thẩm_quyền quy_định tại khoản 2 điều này ra_lệnh trích_xuất . khi nhận được yêu_cầu trích_xuất phạm_nhân , người có thẩm_quyền phải ra_lệnh trích_xuất . 2 . thẩm_quyền trích_xuất phạm_nhân để phục_vụ điều_tra , truy_tố , xét_xử được thực_hiện như sau : a ) thủ_trưởng cơ_quan quản_lý thi_hành án hình_sự thuộc bộ công_an ra_lệnh trích_xuất đối_với phạm_nhân đang chấp_hành án tại trại_giam , trại tạm giam thuộc bộ công_an ;
  Bộ Xây_dựng quy_định những đối_tượng nào được hỗ_trợ về nhà ở xã_hội ?	luật nhà ở , chương iv chính_sách về nhà ở xã_hội mục 1 những quy_định chung , điều 49 . đối_tượng được hưởng chính_sách hỗ_trợ về nhà ở xã_hội , khoản 8 , nội_dung : nghiệp_vụ , hạ_sĩ_quan_chuyên_môn kỹ_thuật , quân_nhân chuyên_nghiệp , công_nhân trong cơ_quan , đơn_vị thuộc công_an nhân_dân và quân_đội nhân_dân ; 7 . cán_bộ , công_chức , viên_chức theo quy_định của pháp_luật về cán_bộ , công_chức , viên_chức ; 8 . các đối_tượng đã trả lại nhà ở công_vụ theo quy_định tại khoản 5 điều 81 của luật này ; 9 . học_sinh , sinh_viên các học_viện , trường đại_học , cao_đẳng , dạy nghề ; học_sinh trường dân_tộc nội_trú công_lập được sử_dụng nhà ở trong thời_gian học_tập ; 10 . hộ gia_đình , cá_nhân thuộc diện bị thu_hồi đất và phải giải_tỏa , phá dỡ nhà ở theo quy_định của pháp_luật mà chưa được nhà_nước bồi_thường bằng nhà ở , đất ở . điều 50 . hình_thức thực_hiện chính_sách hỗ_trợ về nhà ở xã_hội 1 . hỗ_trợ giải_quyết cho thuê , cho thuê mua , bán nhà ở xã_hội cho các đối_tượng quy_định tại các khoản 1 , 4 , 5 , 6 , 7 , 8 và 10 điều 49 của luật này ; đối_với đối_tượng quy_định tại khoản 9 điều 49 của luật này thì chỉ được thuê nhà ở xã_hội .

• Loss: MultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Evaluation Dataset

json

• Dataset: json
• Size: 38,845 evaluation samples
• Columns: query and pos
• Approximate statistics based on the first 1000 samples:

  	query	pos
  type	string	string
  details	min: 9 tokens mean: 19.82 tokens max: 43 tokens	min: 89 tokens mean: 213.78 tokens max: 256 tokens

• Samples:

  query	pos
  Pháp_luật quy_định như_thế_nào về việc tác_động vào thời_tiết khi không được cơ_quan nhà_nước có thẩm_quyền phê_duyệt kế_hoạch tác_động vào thời_tiết ?	luật khí_tượng thủy văn_____________ , chương i quy_định chung , điều 8 . những hành_vi bị nghiêm_cấm , khoản 11 , nội_dung : vi_phạm quy_chuẩn kỹ_thuật , quy_trình chuyên_môn trong hoạt_động khí_tượng thủy_văn . 10 . tác_động vào thời_tiết khi không được cơ_quan nhà_nước có thẩm_quyền phê_duyệt kế_hoạch tác_động vào thời_tiết hoặc trái với kế_hoạch được phê_duyệt . 11 . che_giấu , không cung_cấp hoặc cố_ý cung_cấp sai_lệch , không đầy_đủ , không kịp_thời thông_tin , dữ_liệu khí_tượng thủy_văn . 12 . làm trái quy_định về truyền , phát tin dự_báo , cảnh_báo khí_tượng thủy_văn . 13 . lợi_dụng chức_vụ , quyền_hạn hoặc vượt quá quyền_hạn của người có thẩm_quyền để làm trái quy_định của pháp_luật về khí_tượng thủy_văn . 14 . lợi_dụng hoạt_động hợp_tác quốc_tế về khí_tượng thủy_văn , giám_sát biến_đổi khí_hậu để thực_hiện hành_vi vi_phạm pháp_luật . chương ii quản_lý , khai_thác mạng_lưới trạm khí_tượng thủy_văn điều 9 . nội_dung quản_lý , khai_thác mạng_lưới trạm khí_tượng thủy_văn 1 . xây_dựng quy_hoạch , kế_hoạch phát_triển mạng_lưới trạm khí_tượng thủy_văn . 2 . quan_trắc khí_tượng thủy_văn . 3 . điều_tra , khảo_sát khí_tượng thủy_văn . 4 . quản_lý , bảo_vệ công_trình khí_tượng thủy_văn . 5 . quản_lý chất_lượng phương_tiện đo khí_tượng thủy_văn .
  Đầu_tư xây_dựng cảng biển cần phải phù_hợp với quy_hoạch tổng_thể phát_triển hệ_thống cảng biển như_thế_nào ?	luật sửa_đổi , bổ_sung một_số điều của 37 luật có liên_quan đến quy_hoạch , điều 2 . sửa_đổi , bổ_sung một_số điều của bộ_luật hàng_hải việt_nam , khoản 5 , điểm a : và hướng_dẫn , kiểm_tra thực_hiện quy_hoạch phát_triển hệ_thống cảng cạn đã được phê_duyệt theo quy_định của pháp_luật về quy_hoạch và pháp_luật về hàng_hải . 5 . bộ , cơ_quan ngang bộ và ủy ban_nhân_dân cấp tỉnh có trách_nhiệm : a ) phối_hợp với bộ giao_thông vận_tải tổ_chức quản_lý thực_hiện quy_hoạch phát_triển hệ_thống cảng cạn theo quy_định của bộ_luật này và quy_định khác của pháp_luật có liên_quan ; b ) bảo_đảm quỹ đất để xây_dựng phát_triển cảng cạn theo quy_hoạch phát_triển hệ_thống cảng cạn đã được phê_duyệt . 6 . chính_phủ quy_định chi_tiết việc lập , thẩm_định , phê_duyệt , công_bố , thực_hiện , đánh_giá và điều_chỉnh quy_hoạch phát_triển hệ_thống cảng cạn . ” . 7 . sửa_đổi , bổ_sung khoản 1 điều 83 như sau : “ 1 . đầu_tư xây_dựng cảng biển , luồng hàng_hải phải phù_hợp với quy_hoạch tổng_thể phát_triển hệ_thống cảng biển , quy_hoạch chi_tiết nhóm cảng biển , bến cảng , cầu_cảng , bến phao , khu nước , vùng nước , quy_hoạch chi_tiết phát_triển vùng_đất , vùng nước cảng biển theo quy_định của bộ_luật này , quy_định của pháp_luật về đầu_tư , xây_dựng và quy_định khác của pháp_luật có liên_quan . ” .
  Thân_nhân của người tham_gia bảo_hiểm_xã_hội cần phải làm gì và trong thời_hạn bao_lâu để được hưởng trợ_cấp tuất hằng tháng khi người tham_gia bảo_hiểm_xã_hội chết ?	luật bảo_hiểm_xã_hội , điều 67 . các trường_hợp hưởng trợ_cấp tuất hằng tháng , khoản 3 , nội_dung : người tham_gia bảo_hiểm_xã_hội đang có nghĩa_vụ nuôi_dưỡng theo quy_định của pháp_luật về hôn_nhân và gia_đình nếu dưới 60 tuổi đối_với nam , dưới 55 tuổi đối_với nữ và bị suy_giảm khả_năng lao_động từ 81 % trở lên . 3 . thân_nhân quy_định tại các điểm b , c và d khoản 2 điều này phải không có thu_nhập hoặc có thu_nhập hằng tháng nhưng thấp hơn mức lương cơ_sở . thu_nhập theo quy_định tại luật này không bao_gồm khoản trợ_cấp theo quy_định của pháp_luật về ưu_đãi người có công . 4 . thời_hạn đề_nghị khám giám_định_mức suy_giảm khả_năng lao_động để hưởng trợ_cấp tuất hằng tháng như sau : a ) trong thời_hạn 04 tháng kể từ ngày người tham_gia bảo_hiểm_xã_hội chết thì thân_nhân có nguyện_vọng phải nộp đơn đề_nghị ; b ) trong thời_hạn 04 tháng trước hoặc sau thời_điểm thân_nhân quy_định tại điểm a_khoản 2 điều này hết thời_hạn hưởng trợ_cấp theo quy_định thì thân_nhân có nguyện_vọng phải nộp đơn đề_nghị . điều 68 . mức trợ_cấp tuất hằng tháng

• Loss: MultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Training Hyperparameters

Non-Default Hyperparameters

• overwrite_output_dir: True
• per_device_train_batch_size: 10
• per_device_eval_batch_size: 10
• learning_rate: 1e-05
• num_train_epochs: 5
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Training Logs

Framework Versions

• Python: 3.10.14
• Sentence Transformers: 3.1.1
• Transformers: 4.44.0
• PyTorch: 2.4.0
• Accelerate: 0.33.0
• Datasets: 2.21.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

MultipleNegativesRankingLoss