SentenceTransformer based on BAAI/bge-m3

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

Training Details

Training Dataset

Unnamed Dataset

• Size: 191,129 training samples
• Columns: question, pos_neg, and label
• Approximate statistics based on the first 1000 samples:

  	question	pos_neg	label
  type	string	string	int
  details	min: 6 tokens mean: 37.01 tokens max: 83 tokens	min: 35 tokens mean: 377.5 tokens max: 1887 tokens	0: ~51.90% 1: ~48.10%

• Samples:

  question	pos_neg	label
  hồ_sơ đề_nghị đưa hàng_hóa_nhập_khẩu về bảo_quản của người khai hải_quan gồm những thành_phần_nào	dự_án đầu_tư khởi_nghiệp sáng_tạo là dự_án đầu_tư thực_hiện ý_tưởng trên cơ_sở khai_thác tài_sản trí_tuệ công_nghệ mô_hình kinh_doanh mới và có khả_năng tăng_trưởng nhanh	0
  giai_đoạn ủ_bệnh của bệnh đậu_mùa khỉ là bao_nhiêu ngày	cấp thẻ bảo_hiểm y_tế đối_tượng bảo_trợ xã_hội đang hưởng trợ_cấp xã_hội hàng tháng được cấp thẻ bảo_hiểm y_tế theo quy_định của pháp_luật về bảo_hiểm y_tế trường_hợp đối_tượng quy_định tại khoản điều này thuộc diện được cấp nhiều loại thẻ bảo_hiểm y_tế thì chỉ được cấp một thẻ bảo_hiểm y_tế có quyền_lợi bảo_hiểm y_tế cao nhất [object Object] mức đóng và trách_nhiệm đóng bảo_hiểm y_tế trường_hợp một người đồng_thời thuộc nhiều đối_tượng tham_gia_bảo_hiểm y_tế khác nhau quy_định tại điều của luật này thì đóng bảo_hiểm y_tế theo đối_tượng đầu_tiên mà người đó được xác_định theo thứ_tự của các đối_tượng quy_định tại điều của luật này trường_hợp đối_tượng quy_định tại điểm a khoản điều của luật này có thêm một hoặc nhiều hợp_đồng lao_động không xác_định thời_hạn hoặc hợp_đồng lao_động có thời_hạn từ đủ tháng trở lên thì đóng bảo_hiểm y_tế theo hợp_đồng lao_động có mức tiền_lương cao nhất trường_hợp đối_tượng quy_định tại điểm b khoản điều của luật này đồng_thời thuộc nhiều đối_tượng tham_gia_bảo_hiểm y_...	0
  trường_hợp khiếu_nại quyết_định hành_chính thì quyết_định bị khiếu_nại có buộc phải tạm đình_chỉ thi_hành hay không	tạm đình_chỉ việc thi_hành_quyết_định hành_chính bị khiếu_nại trong quá_trình giải_quyết khiếu_nại nếu xét thấy việc thi_hành_quyết_định hành_chính bị khiếu_nại sẽ gây hậu_quả khó khắc_phục thì người giải_quyết khiếu_nại ra quyết_định tạm đình_chỉ việc thi_hành_quyết_định hành_chính bị khiếu_nại thời_hạn tạm đình_chỉ không vượt quá thời_gian còn lại của thời_hạn giải_quyết khiếu_nại khi xét thấy lý_do của việc tạm đình_chỉ không còn thì người giải_quyết khiếu_nại phải ra quyết_định hủy bỏ ngay quyết_định tạm đình_chỉ	1

• Loss: ContrastiveLoss with these parameters:
  json

  1{ 2 "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE", 3 "margin": 0.5, 4 "size_average": true 5}

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 2
• learning_rate: 2e-05
• weight_decay: 0.01
• num_train_epochs: 1
• warmup_ratio: 0.1
• fp16: True
• fp16_full_eval: True

All Hyperparameters

Training Logs

Framework Versions

• Python: 3.9.19
• Sentence Transformers: 3.3.1
• Transformers: 4.46.3
• PyTorch: 2.5.1+cu124
• Accelerate: 1.1.1
• Datasets: 3.1.0
• Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

ContrastiveLoss