SentenceTransformer based on tintnguyen/bert-base-vi-uncased

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: tintnguyen/bert-base-vi-uncased
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

Training Details

Training Dataset

Unnamed Dataset

• Size: 631,587 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 5 tokens mean: 10.92 tokens max: 41 tokens	min: 8 tokens mean: 106.79 tokens max: 512 tokens

• Samples:

  anchor	positive
  bạn có thể lấy hộ chiếu ở dmv không	Nộp đơn xin Hộ chiếu Hoa Kỳ tại Văn phòng DMV. Xuất bản 27/09/2001 01:53 PM
  tổng số người mỹ thiệt mạng trong tất cả các cuộc chiến tranh	1 Con số chính thức của người Mỹ thiệt mạng trong Chiến tranh Cách mạng (4.435) chỉ bằng khoảng 2/3 con số mà các nhà sử học đưa ra. Tổng số người Mỹ thiệt mạng trong Nội chiến được đưa ra là 140.414 - cao hơn khoảng 30.000 so với hầu hết các nhà sử học ước tính. Tôi nghi ngờ (nhưng không biết chắc chắn) rằng sự gia tăng có thể đến từ việc DoD tính số người chết trong tù binh là chiến đấu hơn là bệnh tật.
  lý thuyết vụ nổ lớn được quay ở đâu	Thuyết Vụ nổ lớn được ghi hình tại Warner Bros. Studios ở Burbank, California. Bạn phải từ mười tám tuổi trở lên để tham gia buổi ghi hình Thuyết Vụ nổ lớn. Số lượng vé có hạn và nhu cầu rất cao. Vé được bán miễn phí trên TVTickets.com. Phần thứ 10 của Big Bang Theory hiện đang được sản xuất.

• Loss: MultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Evaluation Dataset

Unnamed Dataset

• Size: 300 evaluation samples
• Columns: anchor and positive
• Approximate statistics based on the first 300 samples:

  	anchor	positive
  type	string	string
  details	min: 5 tokens mean: 11.02 tokens max: 43 tokens	min: 4 tokens mean: 108.76 tokens max: 512 tokens

• Samples:

  anchor	positive
  lúa mạch đen được dùng làm gì và ăn ở pháp	Tiêu dùng và sử dụng của con người. Như đã nói trước đó, hầu hết lúa mạch đen được trồng ở châu Âu là để làm bánh mì. Canada có một số lượng hạn chế hạt lúa mạch đen được sử dụng để chưng cất và sử dụng thực phẩm, và ở Mỹ khoảng một nửa lúa mạch đen làm ngũ cốc được sử dụng cho những mục đích này (7, 8). Hạt lúa mạch đen được sử dụng để làm bột mì, thức ăn gia súc, hoặc bia. Nó cũng có thể được ăn toàn bộ, dưới dạng quả mọng lúa mạch đen luộc, hoặc bằng cách cuộn lại, tương tự như yến mạch cán (10).
  kỳ hạm của hải quân chúng tôi là gì	USS Hiến pháp là kỳ hạm truyền thống của Hải quân Hoa Kỳ. Và nó vẫn đang được thực hiện và được điều khiển bởi một thủy thủ đoàn Hải quân Hoa Kỳ. USS Constellation CVN-64 được Tổng thống Ronald Reagan đặt cho biệt danh là Chiến hạm của Hoa Kỳ. Nó hiện đã ngừng hoạt động và được thay thế trong hạm đội bằng tàu sân bay USS Ronald Reagan CVN-76.
  cửa sổ kính lớn nhất	Cửa sổ kính màu lớn nhất thế giới. Cửa sổ kính màu lớn nhất thế giới thực sự nằm trong lăng mộ tại Nghĩa trang Phục sinh ở Công lý. Nó chứa 2.448 tấm và rộng 22.381 feet vuông. Cũng cần lưu ý thêm, nó chỉ cách nhà máy cải tạo nước Stickney, cơ sở xử lý nước thải lớn nhất (vào tháng 7 và cả tháng 8, là cơ sở xử lý nước thải bốc mùi nhất trên thế giới, vài dặm ngắn) chỉ vài dặm ngắn.

• Loss: MultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 2
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Training Logs

Framework Versions

• Python: 3.11.10
• Sentence Transformers: 3.3.1
• Transformers: 4.46.3
• PyTorch: 2.5.1+cu124
• Accelerate: 1.1.1
• Datasets: 3.1.0
• Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

MultipleNegativesRankingLoss