SentenceTransformer based on BAAI/bge-m3

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3
• Maximum Sequence Length: 768 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text
• Training Dataset:
  • json

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'cls', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

Training Details

Training Dataset

json

• Dataset: json
• Size: 183,729 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 100 samples:

  	anchor	positive
  type	string	string
  modality	text	text
  details	min: 13 tokens mean: 25.15 tokens max: 62 tokens	min: 91 tokens mean: 423.11 tokens max: 768 tokens

• Samples:

  anchor	positive
  Quy định về 3.NĐ.4.37. Quyền và nghĩa vụ của người chơi là gì?	Chủ đề: Bưu chính, viễn thông[object Object]Đề mục: Công nghệ thông tin[object Object]Chương: Chương III - PHÁT TRIỂN CÔNG NGHỆ THÔNG TIN - Mục 1 - NGHIÊN CỨU - PHÁT TRIỂN CÔNG NGHỆ THÔNG TIN - Mục 2 - PHÁT TRIỂN NGUỒN NHÂN LỰC CÔNG NGHỆ THÔNG TIN - Mục 3 - PHÁT TRIỂN CÔNG NGHIỆP CÔNG NGHỆ THÔNG TIN[object Object]Điều: Điều 3.3.NĐ.4.37. Quyền và nghĩa vụ của người chơi[object Object]Nguồn: (Điều 37 Nghị định số 72/2013/NĐ-CP, có hiệu lực thi hành kể từ ngày 01/09/2013)[object Object]Nội dung:[object Object]Người chơi có các quyền và nghĩa vụ sau đây: 1. Được chơi các trò chơi điện tử trừ các trò chơi điện tử bị cấm theo quy định của pháp luật; 2. Quyền và nghĩa vụ của người sử dụng Internet quy định tại Điều 10 Nghị định này; 3. Lựa chọn trò chơi điện tử phù hợp với độ tuổi của mình; 4. Không được lợi dụng trò chơi điện tử để thực hiện hành vi vi phạm pháp luật; 5. Thực hiện việc đăng ký thông tin cá nhân theo yêu cầu của Bộ Thông tin và Truyền thông; 6. Chấp hành quy định về quản lý giờ chơi, quy định về thời gian hoạt động của điểm cung cấp dịch vụ trò chơi điện tử ...
  3.TT.13.10. Xử lý đối với hạng mục công việc được đánh giá “không đạt yêu cầu” khi kiểm tra, nghiệm thu được pháp luật quy định như thế nào?	Chủ đề: Tài sản công, nợ công, dự trữ nhà nước[object Object]Đề mục: Quản lý, sử dụng tài sản công[object Object]Chương: Chương IV - CHẾ ĐỘ QUẢN LÝ, SỬ DỤNG TÀI SẢN KẾT CẤU HẠ TẦNG - Mục 1 - QUY ĐỊNH CHUNG VỀ QUẢN LÝ, SỬ DỤNGTÀI SẢN KẾT CẤU HẠ TẦNG - Mục 2 - HỒ SƠ, THỐNG KÊ, KẾ TOÁN, KIỂM KÊ, ĐÁNH GIÁ LẠI, BÁO CÁO, BẢO TRÌ TÀI SẢN KẾT CẤU HẠ TẦNG - Mục 3 - KHAI THÁC TÀI SẢN KẾT CẤU HẠ TẦNG - Mục 4 - XỬ LÝ TÀI SẢN KẾT CẤU HẠ TẦNG - Mục 5 - QUẢN LÝ, SỬ DỤNG TÀI SẢN KẾT CẤU HẠ TẦNG ĐƯỢC ĐẦU TƯ THEO HÌNH THỨC ĐỐI TÁC CÔNG TƯ - Mục 6 - QUẢN LÝ, SỬ DỤNG VÀ KHAI THÁC TÀI SẢN KẾT CẤU HẠ TẦNG THỦY LỢI - Mục 7 - QUẢN LÝ, SỬ DỤNG VÀ KHAI THÁC TÀI SẢN KẾT CẤU HẠ TẦNG HÀNG HẢI - Mục 8 - QUẢN LÝ, SỬ DỤNG VÀ KHAI THÁC TÀI SẢN KẾT CẤU HẠ TẦNG HÀNG KHÔNG - Mục 9 - QUẢN LÝ, SỬ DỤNG VÀ KHAI THÁC TÀI SẢN KẾT CẤU HẠ TẦNG GIAO THÔNG ĐƯỜNG THỦY NỘI ĐỊA - Mục 10 - QUẢN LÝ, SỬ DỤNG VÀ KHAI THÁC TÀI SẢN KẾT CẤU HẠ TẦNG ĐƯỜNG SẮT QUỐC GIA[object Object]Điều: Điều 28.3.TT.13.10. Xử lý đối với hạng mục công việc được đánh giá “k...
  Tôi cần tìm điều luật về 10.TT.7.2. Đối tượng áp dụng	Chủ đề: Nông nghiệp, nông thôn[object Object]Đề mục: Phòng, chống thiên tai[object Object]Chương: Chương I - NHỮNG QUY ĐỊNH CHUNG[object Object]Điều: Điều 24.10.TT.7.2. Đối tượng áp dụng[object Object]Nguồn: (Điều 2 Thông tư số 02/2021/TT-BNNPTNT, có hiệu lực thi hành kể từ ngày 25/07/2021)[object Object]Nội dung:[object Object]Thông tư này áp dụng đối với cơ quan, tổ chức, cá nhân có hoạt động liên quan đến xây dựng kế hoạch phòng, chống thiên tai các cấp ở địa phương.

• Loss: MultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false, 5 "directions": [ 6 "query_to_doc" 7 ], 8 "partition_mode": "joint", 9 "hardness_mode": null, 10 "hardness_strength": 0.0 11}

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• num_train_epochs: 2
• learning_rate: 2e-05
• warmup_steps: 0.1
• gradient_accumulation_steps: 3
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Training Logs

Training Time

• Training: 1.5 hours

Framework Versions

• Python: 3.12.13
• Sentence Transformers: 5.5.1
• Transformers: 5.9.0
• PyTorch: 2.11.0+cu128
• Accelerate: 1.13.0
• Datasets: 4.8.5
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

MultipleNegativesRankingLoss