SentenceTransformer based on BAAI/bge-m3

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Information Retrieval

• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

Unnamed Dataset

• Size: 1,634 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 10 tokens mean: 23.97 tokens max: 47 tokens	min: 14 tokens mean: 209.79 tokens max: 2889 tokens

• Samples:

  sentence_0	sentence_1
  AUTO STOP 누적 시간을 초기화하려면 어떤 조작을 해야 하나요?	AUTO STOP 누적 시간: 공회전 제한 시스템에 의해 엔진이 꺼진 상태의 누적 시간을 표시합니다. 스티어링 휠의 OK 스위치를 길게 눌러 정보를 초기화할 수 있습니다.
  주차 브레이크 레버를 당길 때 몇 kg의 힘으로 몇 번 "딸깍" 소리가 나야 정상적으로 작동하는 것입니까?	주차 브레이크 점검 주차 브레이크 작동 상태 점검 정기 점검 주기에 따라 반드시 안전한 상태에서 주차 브레이크 점검을 실시하십시오. 핸드 주차 브레이크 • 전·후방에 차량이 없는 상태에서 주차 브레이크 레버를 당겨 가파른 언덕길에서 제동이 되는지 점검하십시오. • 평탄하고 안전한 장소에 주차시킨 후, 주차 브레이크가 완전히 해제된 상태에서 주차 브레이크 레버를 20kg의 힘으로 당겼을 때 5~7회 “딸깍” 거리는지 확인하십시오. 주의 주차 브레이크가 작동된 상태에서 주행하면 브레이크 패드의 과다한 마모의 원인이 됩니다.
  자동 변속기를 사용할 때 차량을 멈추기 위해 반드시 해야 하는 것은 무엇인가요?	자동 변속기 작동 변속 위치별 기능 자동 변속기는 변속 위치, 차량 속도, 가속 페달의 위치에 따라 1속~8속까지 자동으로 변속합니다 'D' 주행, 'R' 후진 및 수동 변속 모드 구간(+, -)에서는 브레이크 페달을 밟고 있지 않으면 가속 페달을 밟지 않아도 차량이 전진하거나 후진합니다 차량을 멈추려면 반드시 브레이크 페달을 밟으십시오

• Loss: MultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 5
• per_device_eval_batch_size: 5
• num_train_epochs: 30
• fp16: True
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Training Logs

Framework Versions

• Python: 3.10.16
• Sentence Transformers: 4.1.0
• Transformers: 4.52.3
• PyTorch: 2.7.0+cu126
• Accelerate: 1.7.0
• Datasets: 3.6.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

MultipleNegativesRankingLoss