SentenceTransformer based on BAAI/bge-m3

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'cls', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

Training Details

Training Dataset

Unnamed Dataset

• Size: 39,075 training samples
• Columns: sentence_0, sentence_1, and sentence_2
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	sentence_2
  type	string	string	string
  details	min: 14 tokens mean: 28.91 tokens max: 81 tokens	min: 38 tokens mean: 116.36 tokens max: 240 tokens	min: 35 tokens mean: 117.74 tokens max: 254 tokens

• Samples:

  sentence_0	sentence_1	sentence_2
  Làm sao để kiềm chế sự nhạy cảm thái quá trước lời phán xét và ánh mắt của người khác?	Em cảm thấy vô năng khi không giải quyết được vấn đề của thân chủ, em nên làm gì ạ?. Càng lớn lên, em càng thấy nhiều mặt tối tăm hơn. Bây giờ em mới hiểu, hóa ra con người có thể không có nguyên tắc, không có giới hạn; hóa ra "điều mà mình không muốn thì đừng làm cho người khác" toàn là giả dối; hóa ra "người ngốc" không có "phúc ngốc". Tại sao lại phải trở nên "thông minh, độc lập, kiên cường". Từ khóa liên quan: nhà tư vấn mới, cảm giác vô năng, giám sát chuyên môn	Làm sao để kiềm chế sự nhạy cảm thái quá trước lời phán xét của người khác?. Trưởng thành rồi thì càng ngày càng lý trí hơn. Xin hỏi làm sao để làm được việc cân bằng giữa cảm tính và lý trí. Từ khóa liên quan: đánh giá bên ngoài, nhạy cảm, điều chỉnh tâm lý
  Nữ sinh 14 tuổi, mấy năm nay luôn có ý định tự sát, em phải làm sao đây?	Phụ huynh luôn coi em là đồ vô dụng. Mọi rắc rối trong nhà đều là lỗi của em. Bà ngoại đòi mua vé về quê cũng bảo là do thái độ của em không tốt; mẹ gọi điện thoại đột nhiên quát mắng em, cũng bảo là do em làm cao, có ý kiến với mẹ; hai mẹ con ở hai phòng khác nhau nhắn tin qua lại, em dùng điện thoại thì mẹ chê em lười biếng, vô dụng, em nói to thì mẹ chê thái độ em không tốt, dám quát mẹ, đến trước mặt nói chuyện thì mẹ lại chê mặt em sưng sỉa. Từ khóa liên quan: gia đình, quan hệ gia đình, người nhà kiểm soát	Nữ sinh 17 tuổi, nửa năm nay luôn bất ổn cảm xúc, hay cáu gắt với người thân?. Không có gì xảy ra cả, nhưng tôi lại rất buồn. Mất ngủ, đau đầu, tính khí nóng nảy, dễ nổi cáu, không thể tập trung. Tôi từng nghĩ đến việc làm hại bản thân, nhưng sợ ảnh hưởng về sau nên đành bỏ ý định đó. Từ khóa liên quan: cảm xúc, trầm cảm, điều tiết cảm xúc
  Tại sao mỗi lần cãi nhau, bạn trai lại luôn không đi làm vào ngày hôm sau?	Tôi là một người chuyển giới song tính, tôi phải làm sao đây?. Tôi đã từng yêu cả đàn ông lẫn phụ nữ, sau này tôi phát hiện giới tính sinh học của mình là nữ nhưng bản dạng giới là nam, tôi có sự thôi thúc muốn yêu cả phụ nữ và đàn ông. (Đối với đàn ông, tôi có chút bài trừ về mặt sinh lý và tiếp xúc thể xác, phụ nữ thì không. Trong trường hợp không phát sinh quan hệ thì bao gồm cả đàn ông). Từ khóa liên quan: tình yêu, xu hướng tính dục	Hôm nay là sinh nhật mình, năm nào cũng cãi nhau với bạn trai, nỗi uất ức không nói nên lời?. Tại sao năm nào mình đón sinh nhật, bạn trai cũng luôn làm mình không vui. Năm nay mình 24 tuổi, ở bên anh ấy được 1009 ngày. Mình thực sự rất chú trọng cảm giác nghi thức, đặc biệt là sinh nhật mỗi năm chỉ có một lần, mình muốn đón thật tử tế, nhưng mình thậm chí còn chẳng có lấy một tấm ảnh nào để đăng lên mạng xã hội. Từ khóa liên quan: tình yêu, cãi nhau, vận hành tình yêu

• Loss: TripletLoss with these parameters:
  json

  1{ 2 "distance_metric": "TripletDistanceMetric.EUCLIDEAN", 3 "triplet_margin": 5 4}

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• num_train_epochs: 1
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Training Logs

Training Time

• Training: 37.8 minutes

Framework Versions

• Python: 3.12.13
• Sentence Transformers: 5.4.1
• Transformers: 5.0.0
• PyTorch: 2.10.0+cu128
• Accelerate: 1.13.0
• Datasets: 4.0.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

TripletLoss