SentenceTransformer based on BAAI/bge-m3

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'cls', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Information Retrieval

• Dataset: valid
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

Unnamed Dataset

• Size: 20,441 training samples
• Columns: query and positive
• Approximate statistics based on the first 100 samples:

  	query	positive
  type	string	string
  modality	text	text
  details	min: 7 tokens mean: 10.26 tokens max: 16 tokens	min: 115 tokens mean: 138.31 tokens max: 157 tokens

• Samples:

  query	positive
  dinh dưỡng cho trẻ từ 1 đến 10 tuổi	Combo 2 Thực phẩm bổ sung dinh dưỡng dành cho trẻ từ 1 đến 10 tuổi Kid Essentials Nutritionally Complete vị vani | Thực phẩm bổ sung dinh dưỡng Kid Essentials vị vani là giải pháp dinh dưỡng y học toàn diện, được thiết kế đặc biệt cho trẻ em từ 1 đến 10 tuổi biếng ăn. Sản phẩm cung cấp đầy đủ các dưỡng chất cần thiết, hỗ trợ trẻ phát triển khỏe mạnh và cải thiện tình trạng biếng ăn. Với hương vani thơm ngon, dễ | Danh mục: Sữa bột cao cấp | Thương hiệu: Kid Essentials | Giá: 765,000 VNĐ
  thực phẩm dinh dưỡng y học ensure gold	Thực phẩm dinh dưỡng y học Ensure Gold 800g (bao bì cũ 850g, giao bao bì ngẫu nhiên) | Ensure Gold 800g là thực phẩm dinh dưỡng y học tiên tiến, bổ sung HMB giúp duy trì và phát triển khối cơ, cùng hệ dưỡng chất YBG tăng cường miễn dịch hiệu quả. Sản phẩm giàu Omega-3 và 12 loại vitamin thiết yếu, hỗ trợ cải thiện sức khỏe toàn diện chỉ sau 8 tuần sử dụng. Ensure Gold là lựa chọn lý t | Danh mục: Sữa bột cao cấp | Thương hiệu: Ensure | Giá: 935,000 VNĐ
  sữa abbott grow 2+ cho bé	Sữa Abbott Grow 2+ 1,6kg (trên 2 tuổi) (tên cũ: Abbott Grow 4 1,7kg, giao bao bì ngẫu nhiên) | Sữa Abbott Grow 2+ 1,6kg là lựa chọn tuyệt vời cho bé trên 2 tuổi, hỗ trợ phát triển chiều cao vượt trội. Sản phẩm được thiết kế đặc biệt với công thức tiên tiến, cung cấp đầy đủ dưỡng chất cần thiết cho sự phát triển thể chất và trí tuệ của trẻ. Với hương vị thơm ngon, dễ uống, Abbott Grow 2+ sẽ là | Danh mục: Sữa bột cao cấp | Thương hiệu: Abbott Grow | Giá: 625,000 VNĐ

• Loss: MultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false, 5 "directions": [ 6 "query_to_doc" 7 ], 8 "partition_mode": "joint", 9 "hardness_mode": null, 10 "hardness_strength": 0.0 11}

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 2
• num_train_epochs: 2
• learning_rate: 2e-05
• gradient_accumulation_steps: 4
• fp16: True
• load_best_model_at_end: True

All Hyperparameters

Training Logs

Training Time

• Training: 1.5 hours

Framework Versions

• Python: 3.12.13
• Sentence Transformers: 5.6.0
• Transformers: 5.13.1
• PyTorch: 2.11.0+cu128
• Accelerate: 1.14.0
• Datasets: 4.0.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

MultipleNegativesRankingLoss