SentenceTransformer based on BAAI/bge-m3

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

Training Details

Training Dataset

Unnamed Dataset

• Size: 573 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 573 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 11 tokens mean: 21.47 tokens max: 38 tokens	min: 51 tokens mean: 140.53 tokens max: 347 tokens

• Samples:

  sentence_0	sentence_1
  화면 왼쪽 하단에는 작은 새가 앉아 있습니다.	■ 두 번째로 '왜 그것을 그렸는가(Why?)'에 대한 전략이다. 어떤 대상을 그렸는지 명확히 파악이 되었다면, 그 대상을 어떤 이유로 그렸는지 유추해 보는 과정이 필요하다.
  그림 속에는 메마른 뿌리가 꼬여 있는 모습이 보입니다.	■ 죽은 뿌리를 그린다 현실을 살아갈 수 있는 능력을 잃어버린 듯한 느낌을 받는다 자신이 가지고 있던 '삶의 목표' 또는 '동기 부여'를 잃어버렸던 적이 존재한다. (이와 같은 경우, 삶을 살아가며 혼란스럽다고 표현한다.) 무언가에 극도로 절박하게 매달리듯이, 반복적으로 한 주제에 대하여 상상하고 행동한다. (이와 같은 경우, 목적과 행동이 뒤바뀐 듯한 인상을 준다. ex. 깨끗하기 위해서 손을 씻는 것이 아닌 손을 씻기 위해 미친듯이 깨끗해지길 바람. 수업을 듣기 위해 제 시간에 맞춰 일어나는 것이 아닌 모든 계획대로 행동해야 수업이라는 '관문'을 통과했다고 생각함.)
  한 남성이 비정상적으로 큰 머리와 긴 목을 가진 인물을 그리고 있습니다.	9. 위급한 상황임을 의심해 볼 수 있는 묘사 다음과 같은 그림의 묘사가 반복해서 나타날 경우, 상대방이 정신적으로 극도로 혼란스럽거나 위험한 상태임을 암시할 수 있다. (Donald P. Ogdon, 1981) 단 이것이 정신적 어려움을 판단하는 진단기준이 되어서는 안 된다. • 남성이 지나치게 큰 머리를 그린다 • 머리만 똑 떼어 그린다 • 눈을 그리지 않는다 • 옆 모습 그림에서 눈을 두 개 그린다 • 머리카락이 없다 • 이빨을 그린다 • 괴물, 귀신 혹은 동물을 그린다 • 기괴한 얼굴 표정을 그린다 • 비정상적으로 길고 얇은 목을 그린다 • 몸통만 그린다 • 기계, 또는 로봇을 그린다 • 사각형, 또는 기하학적인 몸통을 그린다 • 어깨가 없다 • 팔이 없다 • 팔을 날개처럼 그렸다 • 관절을 매우 강조했다 • 손이 없다 • 남자가 그린 ‘여성’ 그림에서 지나치게 가슴을 크게 그렸다 • 발이 없다 • 자세가 경직되어 있다 • 성기를 그린다 • 옷을 입지 않았다 • 옷 속이 비치듯, 몸의 세부사항을 그린다 • 단추를 강조한다 • 장기 내부를 표현한다 • 허리 아래를 그리기 거부한다 • 줄 몇개로 허리 아래를 표시한다 • 뒷 모습을 그린다 • 옆 얼굴과 앞 얼굴이 뒤섞여있다 • 빙빙 돌고 있거나 과한 움직임을 나타낸다 • 토막난 사람을 그린다

• Loss: MultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false 5}

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• num_train_epochs: 2
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.1.2
• Transformers: 4.57.1
• PyTorch: 2.8.0+cu126
• Accelerate: 1.11.0
• Datasets: 4.0.0
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

MultipleNegativesRankingLoss