SentenceTransformer based on BAAI/bge-m3

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

Training Details

Training Dataset

Unnamed Dataset

• Size: 2,162 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 15 tokens mean: 35.77 tokens max: 69 tokens	min: 31 tokens mean: 149.4 tokens max: 420 tokens

• Samples:

  sentence_0	sentence_1
  "Agent Q: Advanced Reasoning and Learning for Autonomous AI Agents" 논문에서 제안된 Agent Q 프레임워크의 주요 기능은 무엇이며, 어떤 문제를 해결하기 위해 개발되었나요?	"Agent Q: Advanced Reasoning and Learning for Autonomous AI Agents" 논문에서 제안된 Agent Q 프레임워크는 자율적인 웹 에이전트의 성공률을 향상시키기 위해 개발되었습니다. 이 프레임워크의 주요 기능으로는 AI 피드백과 자기 비판(self-criticism)을 활용하여 각 노드에서 자가 평가 피드백을 제공하는 것이 있습니다. 이는 중간 보상으로 작용하여 검색 단계를 안내하는 데 도움을 줍니다. 또한, 오프라인 강화 학습을 통해 성공적이고 비성공적인 경로 모두에서 학습하여 모델의 능력을 향상시키는 Direct Preference Optimization (DPO) 알고리즘을 사용합니다. 이러한 기능들은 장기적인 작업에서 보상의 희소성과 신용 할당 문제를 해결하고, 실제 설정에서의 안전하지 않은 에이전트 행동을 줄이기 위해 설계되었습니다.
  TRACEGEN 멀티 에이전트 시스템은 어떤 역할을 수행하며, 이 시스템의 설계 목적은 무엇인가요?	TRACEGEN 멀티 에이전트 시스템은 복잡한 단계별 추론 트레이스를 생성하는 데 도움을 주는 헬퍼 에이전트를 활용합니다. 이 시스템의 설계 목적은 실제 도구에서의 피드백을 효과적으로 통합하는 유효한 추론 트레이스를 생성하는 데 있어서의 도전을 인식하고, 이를 극복하기 위한 것입니다. TRACEGEN은 TXAGENT-INSTRUCT 데이터셋의 구축 과정에서 다양한 질문에 대한 답변과 복잡한 추론을 수행하는 TXAGENT의 능력을 갖추게 하는 데 중요한 역할을 합니다.
  What is the DrugPC benchmark, and how is it used to evaluate TXAGENT's performance as mentioned in 'page_9.png'?	The DrugPC benchmark is a tool constructed to evaluate TXAGENT's performance in drug reasoning tasks. As mentioned in 'page_9.png', DrugPC includes 3,168 questions spanning 11 tasks related to drug information, such as drug overview, ingredients, warnings, dosage, pharmacology, and patient-focused information. This benchmark is used to assess TXAGENT's ability to handle a variety of drug-related reasoning scenarios and to mitigate data leakage from pretraining by focusing on drugs that were not included in the pretraining data.

• Loss: MultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• num_train_epochs: 2
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Framework Versions

• Python: 3.12.3
• Sentence Transformers: 3.4.1
• Transformers: 4.57.1
• PyTorch: 2.8.0+cu128
• Accelerate: 1.11.0
• Datasets: 4.4.1
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

MultipleNegativesRankingLoss