SentenceTransformer based on meandyou200175/E5_v3_instruct_topic

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: meandyou200175/E5_v3_instruct_topic
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Information Retrieval

• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

Unnamed Dataset

• Size: 209,302 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 12 tokens mean: 102.33 tokens max: 495 tokens	min: 3 tokens mean: 6.59 tokens max: 28 tokens

• Samples:

  anchor	positive
  task: classification | query: Kho đạn triều Nguyễn hoả dược khố	Lịch sử
  task: classification | query: PIQU Nguồn: klapty	Âm nhạc
  task: classification | query: Bãi Dâu Vũng Tàu[object Object]Bãi Dâu Vũng Tàu tọa lạc ở đường Trần Phú, Thành phố Vũng Tàu - Đây là một trong những con đường khá lớn, nổi tiếng tại Vũng Tàu nên bạn có thể dễ dàng tìm thấy nó.[object Object]Theo người dân địa phương nơi đây kể lại, bãi Dâu có tên gọi cũ là bãi Vũng Mây, tên gọi này được đặt dựa trên khung cảnh thiên nhiên được bao phủ rất nhiều mây rừng. Nơi này khá kín gió và bạn có thể thấy nhiều mỏm đá lớn nhô ra ở ngoài biển ở hai đầu bãi.[object Object]Đặc biệt, bãi Dâu nổi tiếng với vẻ đẹp hoang sơ của thiên nhiên, nó vốn chưa được nhiều người biết đến và chưa được khai thác nhiều. Cũng chính vì điều đó mà bãi Dâu đã sở hữu một đặc trưng về diện mạo hoang sơ mà không phải bất kỳ bãi biển nào tại Vũng Tàu cũng có.[object Object][object Object]#vietnam360 #yoolife #dulich #vietnam #34tinhthanh #vr360vietnam #vr360thanhphohochiminh #vr360baidauvungtau #ba	Danh lam thắng cảnh

• Loss: MultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false 5}

Evaluation Dataset

Unnamed Dataset

• Size: 2,115 evaluation samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 12 tokens mean: 98.78 tokens max: 308 tokens	min: 3 tokens mean: 7.06 tokens max: 42 tokens

• Samples:

  anchor	positive
  task: classification | query: Hội trường gác 2 9 Nguyễn Đình Chiểu, Hà Nội chật kín dự. Sự choán, chiếm thời gian phát biểu yếu nhân Hội Nhà văn, Nguyễn Quang Thiều, Trần Đăng Khoa, Nguyễn Bình Phương, Hữu Thỉnh… mắt sách Nhà văn chữ tình gởi tác giả niên Trình Quang Phú toát yếu hội thảo sách. Cuốn sách 400 trang in đẹp 25 chân dung thảy. Tác giả Trình, Trình Quang Phú- hiếm. Trước lầm cầu sông Sài Gòn tướng Trịnh Minh Thế. Chả phải. Mà Trình. Một dịp hợp, viết đọc cố hương gốc tổ Trình xứ Thanh. Ông đại tá an ninh, văn báo, nhiếp ảnh, doanh nhân thành chủ ngơi Tập đoàn Sao Việt đất Tuy Hòa. Và chức hiện đương Viện trưởng Viện Nghiên cứu phát triển trực Liên hiệp Hội KHKT Việt Nam. Tất tật đều… trúng cả! Tôi đương nhắc tắc nhẽ diễn giả. Tất thảy luyến láy duyên độc đáo chi tiết bầu thành công ký tạm gọi tiểu sử này.	Thời sự
  task: sentence similarity | query: luyện tập một cách thường xuyên để đạt tới những phẩm chất hay trình độ ở một mức nào đó	rèn luyện thân thể
  task: sentence similarity | query: gắn thêm từng mảnh trên bề mặt, thường để trang trí	mũ dát ngọc

• Loss: MultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false 5}

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• learning_rate: 2e-05
• num_train_epochs: 5
• warmup_ratio: 0.1
• bf16: True
• batch_sampler: no_duplicates

All Hyperparameters

Training Logs

Framework Versions

• Python: 3.12.6
• Sentence Transformers: 5.1.2
• Transformers: 4.56.0
• PyTorch: 2.8.0+cu129
• Accelerate: 1.10.1
• Datasets: 4.4.1
• Tokenizers: 0.22.0

Citation

BibTeX

Sentence Transformers

MultipleNegativesRankingLoss