This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: BAAI/bge-m3
Maximum Sequence Length: 256 tokens
Output Dimensionality: 1024 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Những lãnh chúa Scotland đã nhận được lời đề nghị gì từ Edward?',
    'Mặc dù có đến 14 phe phái tranh chấp chủ quyền đối với ngai vàng, cuộc cạnh tranh thực sự chỉ nổ ra giữa John Balliol và Robert de Brus. Các lãnh chúa Scotland đề nghị Edward tiến hành quản lý sự việc và kết quả, nhưng không phải là phân xử giữa các bên tranh chấp. Quyết định thực tế được đưa ra bởi 104 người - 40 người được bổ nhiệm bởi BBalliol, 40 bởi Bruce và 24 người được chỉ định bởi Edward I từ các thành viên cao cấp trong Hội đồng chính trị Scotland. Tại Birgham, với triển vọng về một liên minh cá nhân giữa hai vương quốc, vấn đề bá quyền đã không còn quan trọng đối với Edward. Bây giờ ông nhấn mạnh rằng, nếu ông giải quyết được tranh chấp, ông sẽ được công nhận một cách đầy đủ là lãnh chúa của Scotland. Người Scots miễn cưỡng nhượng bộ, và trả lời rằng khi đất nước không có vua, thì không ai có quyền đưa ra quyết định như vậy. Thế cờ này bị phá hỏng khi những người tranh chấp đồng ý rằng vương quốc sẽ được bàn giao cho Edward cho đến khi tìm ra người thừa kế. Sau cuộc lựa chọn kéo dài, quyết định cuối cùng là ngai vàng trao cho John Balliol ngày 17 tháng 11, 1292.[o]',
    'Các nghiên cứu khảo cổ chỉ ra rằng đã có người định cư tại Nhật Bản từ thời Thượng kỳ đồ đá cũ. Những ghi chép đầu tiên đề cập đến quốc gia này nằm trong các thư liệu lịch sử Trung Hoa có từ thế kỷ thứ nhất Công Nguyên. Thoạt đầu chịu ảnh hưởng từ các vùng đất khác, chủ yếu là Đế quốc Trung Quốc, tiếp đến là giai đoạn tự cách ly, về sau thoát khỏi sự chi phối của thế giới phương Tây, đã hình thành những nét đặc trưng trong lịch sử và văn hóa Nhật Bản. Từ thế kỷ XII đến năm 1868, Nhật Bản liên tục thuộc quyền cai trị của các quân nhân phong kiến shogun nhân danh Thiên hoàng. Quốc gia này bước vào quá trình cô lập kéo dài suốt nửa đầu thế kỷ XVII, và chỉ kết thúc vào năm 1853 khi một hạm đội của Hoa Kỳ gây áp lực buộc Nhật Bản phải mở cửa với phương Tây. Gần hai thập kỷ nội chiến và bạo loạn đã xảy ra trước khi Thiên hoàng Minh Trị tái thiết lại đất nước trong vai trò nguyên thủ vào năm 1868 và khai sinh Đế quốc Nhật Bản, với Thiên hoàng trở thành biểu tượng thiêng liêng của dân tộc. Trong những năm cuối thế kỷ XIX đầu thế kỷ XX, những thắng lợi sau chiến tranh Thanh-Nhật, chiến tranh Nga-Nhật và Chiến tranh thế giới thứ nhất đã cho phép Nhật Bản mở rộng đế chế của mình và củng cố quyền lực của chủ nghĩa quân phiệt. Cuộc chiến tranh Trung-Nhật năm 1937 đã nhanh chóng lan rộng thành một phần của Chiến tranh thế giới thứ hai từ năm 1941, mà cuối cùng kết thúc vào năm 1945 sau vụ ném bom nguyên tử xuống Hiroshima và Nagasaki. Từ thời điểm bản Hiến pháp mới được ban hành năm 1947, Nhật Bản duy trì chế độ quân chủ lập hiến kết hợp dân chủ đại nghị, trong đó cơ quan lập pháp dân cử là Quốc hội Nhật Bản.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.6329, 0.2978],
#         [0.6329, 1.0000, 0.3934],
#         [0.2978, 0.3934, 1.0000]])

Training Details

Training Dataset

Unnamed Dataset

Size: 900 training samples
Columns: sentence_0 and sentence_1
Approximate statistics based on the first 900 samples:
sentence_0 sentence_1
type string string
details
min: 8 tokens
mean: 19.5 tokens
max: 56 tokens
min: 124 tokens
mean: 211.21 tokens
max: 256 tokens

Samples:

sentence_0	sentence_1
`Điểm chung của mọi vi xử lý hay họ xử lý là gì?`	Mọi vi xử lý hay họ vi xử lý đều có những tập chỉ thị mã máy riêng biệt. Các chỉ thị này là các mẫu bit được thiết kế tương ứng với những lệnh khác nhau của máy tính. Do đó, những tập chỉ thị này là riêng biệt của một lớp vi xử lý thuộc cùng một kiến trúc máy tính. Những thiết kế vi xử lý kế thừa thường bao gồm các chỉ thị của vi xử lý tiền nhiệm cùng với các chỉ thị mới. Đôi khi, các thiết kế kế thừa lại loại bỏ hay thay đổi chức năng một số mã chỉ thị (vì chúng cần dùng cho mục đích mới), gây ảnh hưởng đến sự đồng bộ mã nguồn ở một mức độ nhất định. Thậm chí, các vi xử lý đồng bộ cận hoàn toàn cũng có những sự biến đổi hành vi đối với một số chỉ thị, nhưng điều này rất hiếm xảy ra. Các hệ thống còn có thể khác nhau ở một số thành phần khác như phương thức sắp xếp bộ nhớ, hệ điều hành hay thiết bị ngoại vi. Vì các chương trình hay phụ thuộc vào các yếu tố này, các hệ thống khác nhau khó có thể chạy cùng một mã máy, ngay cả khi chúng sử dụng cùng một loại vi xử lý.
`Thực vật hạt kín phân bố phổ biến ở đâu trên thế giới?`	Sự tiến hóa của giới thực vật đã theo xu hướng thiết lập các loài thực vật với kiểu cách phát triển cố định và phù hợp với sự thay đổi của sự sống trên mặt đất, và thực vật hạt kín là biểu hiện cao nhất của quá trình tiến hóa này. Chúng tạo thành thảm thực vật chủ yếu trên bề mặt Trái Đất trong kỷ nguyên hiện tại. Thực vật hạt kín được tìm thấy từ hai địa cực tới xích đạo, khi mà sự sống của thực vật là có thể duy trì được. Chúng cũng rất phổ biến trong các vùng nông của các con sông và các hồ nước ngọt, cũng như có ít hơn về mặt số lượng loài trong các hồ nước mặn hay trong lòng đại dương. Tuy nhiên, các loài thực vật hạt kín thủy sinh không phải là các dạng nguyên thủy mà được phát sinh ra từ các dạng tổ tiên trung gian trên đất liền. Gắn liền với sự đa dạng về nơi sinh sống là sự dao động lớn về hình thái chung và kiểu sinh trưởng. Chẳng hạn, các loại bèo tấm quen thuộc che phủ bề mặt các ao hồ gồm có các chồi nhỏ màu xanh lục dạng "tản", gần như không thể hiện sự phân biệt giữa các...
`Việc thiết kế các phần mềm giáo dục tại nhà đã bị ảnh hưởng bởi phần mềm nào?`	Một phần lớn các chức năng có thể chạy với tốc độ 1000s được phát triển và phân phối từ giữa 1990 đến nay có mục đính chính là giáo dục tại nhà cho trẻ nhỏ. Sau đó các chức năng này bắt đầu gắn kết nội dung giáo dục với các môn học trong nhà trường (như là chương trình giáo dục quốc gia của Anh). Việc thiết kế các phần mềm giáo dục tại nhà đã bị ảnh hưởng mạnh mẽ bởi khái niệm trò chơi trên máy tính – nói cách khác, chúng được thiết kế để giải trí cũng như là để giáo dục. Tuy nhiên, ở mức độ nhất định thì cần thấy rõ sự khác biệt giữa các chức năng học thực sự (như ở đây) và phần mềm thiên về mặt giáo dục (được trình bay ở sau). Các bậc phụ huynh cần phải biết rõ sự khác biệt này để làm căn cứ lựa chọn. Các ví dụ sau đây đưa ra các phần mềm giáo dục cho trẻ em. Chúng có tính sư phạm, hướng vào việc dạy đọc viết và các kỹ năng về số học.

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false 5}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 1
per_device_eval_batch_size: 1
num_train_epochs: 4
fp16: True
multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 1
per_device_eval_batch_size: 1
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1
num_train_epochs: 4
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.0
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: round_robin
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss
0.5556	500	0.0
1.1111	1000	0.0
1.6667	1500	0.0
2.2222	2000	0.0
2.7778	2500	0.0
3.3333	3000	0.0
3.8889	3500	0.0

Framework Versions

Python: 3.12.11
Sentence Transformers: 5.1.0
Transformers: 4.55.3
PyTorch: 2.8.0+cu126
Accelerate: 1.10.0
Datasets: 4.0.0
Tokenizers: 0.21.4

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss