This is a sentence-transformers model finetuned from BAAI/bge-m3 on the json dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: BAAI/bge-m3
Maximum Sequence Length: 8192 tokens
Output Dimensionality: 1024 tokens
Similarity Function: Cosine Similarity
Training Dataset:
- json

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("tanbinh2210/mrnl_bge-m3")
# Run inference
sentences = [
    'Menu phân hệ nằm ở đâu trong hệ thống để chọn phân hệ KPI?',
    'PHÂN HỆ KPI\nCách truy cập vào phân hệ KPI\nCách 1: Truy cập nhanh bằng đường link Truy cập phân hệ KPI\nCách 2: Đăng nhập vào hệ thống. Tại menu phân hệ, chọn phân hệ KPI\nTại đây, người dùng có thể tiến hành các thao tác như thiết lập, theo dõi và báo cáo hiệu suất công việc thông qua các chỉ số KPI đã được định nghĩa sẵn hoặc tạo mới.\ntruy cập vào phân hệ KPI\nTìm hiểu thêm tại trung tâm hỗ trợ 1Office',
    'Công việc theo quy trình\nQuản lý công việc quy trình\nTrường dữ liệu: Cập nhật thời gian Đối với công việc quy trình cha, khi đang ở trạng thái Đang chờ, người quản lý có thể cập nhật lại thời gian dự kiến.. \nĐối với bước công việc trong quy trình, Người quản lý/Người thực hiện có thể cập nhật thời gian nếu trong quy trình mẫu cài đặt cho phép., Người sử dụng: Người quản lý. \nTrường dữ liệu: Thêm tài liệu Người dùng có thể tải trực tiếp hoặc thêm từ drive, Người sử dụng: Người quản lý\nTrường dữ liệu: Liên kết Tạo mới liên quan: Người dùng có thể tạo mới các đối tượng liên quan liên kết với quy trình.\nLiên kết đối tượng: Chọn và liên kết các đối tượng có sẵn, Người sử dụng: Người quản lý\nLưu ý: Hiện tại, trên phần mềm 1Office, người dùng có thể theo dõi công việc quy trình theo màn hình Danh sách . Tại màn hình này, người dùng có thể: Xử lý công việc nhanh gọn:\xa0 Cho phép thực hiện các tác vụ cần thiết ngay tại màn hình danh sách công việc quy trình mà không cần mở từng chi tiết quy trình\nTheo dõi tiến độ và trạng thái của các công việc trong quy trình một cách trực quan.\nDễ dàng lọc, tìm kiếm và sắp xếp công việc theo các trường dữ liệu. Tìm hiều thêm tại trung tâm hỗ trợ 1Office',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

json

Dataset: json
Size: 7,276 training samples
Columns: question and positive
Approximate statistics based on the first 1000 samples:
question positive
type string string
details
min: 9 tokens
mean: 24.77 tokens
max: 59 tokens
min: 31 tokens
mean: 211.66 tokens
max: 439 tokens

Samples:

question	positive
`Nếu một công việc bị bôi màu, tôi nên liên hệ với bộ phận nào để tìm hiểu thêm về cảnh báo đó?`	`Vì sao trên danh sách công việc lại hiển thị màu chữ hoặc màu nền trên các công việc?[object Object][object Object]Có thể hệ thống được được cài đặt cảnh báo thông minh cho công việc nên trên danh sách sẽ bị bôi màu.[object Object]Bạn có thể di chuột vào công việc bị bôi màu để xem thông báo. Và báo với bộ phận quản trị Admin để hỏi thêm thông tin chi tiết về cảnh báo.`
`Trong quá trình nhập hồ sơ ứng viên từ file Excel, sau khi chọn các 'Trường dữ liệu trên phần mềm', tôi cần làm gì tiếp theo để liên kết chúng với dữ liệu trong các cột của file Excel?`	Hồ sơ ứng viên[object Object]Tạo mới hồ sơ ứng viên[object Object]Điền thông tin Từ hàng đến Đến hàng : Chọn hàng bắt đầu và kết thúc chứa dữ liệu muốn import trong file excel, nếu để trống trường Đến hàng thì hệ thống sẽ import đến hàng cuối cùng chứa dữ liệu trong file excel. [object Object]Chọn các Trường dữ liệu trên phần mềm > Sau đó chọn cột chứa dữ liệu tương ứng trong file.. [object Object]Sau đó chọn Cập nhật , hệ thống sẽ ở màn hình chờ[object Object]màn hình import hồ sơ ứng viên[object Object]Sau khi quá trình import hoàn thành, bạn có thể biết được ứng viên nào đã được đưa lên hệ thống thành công, ứng viên nào bị lỗi thông qua màn hình Chi tiết import Hồ sơ ứng viên[object Object]lịch sử import hồ sơ ứng viên
`Sau khi chọn quy trình cần thực hiện, tôi phải làm gì để chuyển sang bước tiếp theo?`	Công việc theo quy trình[object Object]Thực hiện công việc trên quy trình[object Object]Sau khi công việc quy trình được thiết lập, những người liên quan đến công việc sẽ nhận được thông báo và tiến hành thực hiện công việc theo quy trình.[object Object]1. Truy cập phân hệ Quy trình[object Object]2. Tại danh sách công việc quy trình, Chọn quy trình cần thực hiện[object Object]3. Next bước cần thực hiện trên quy trình[object Object]Thực hiện next bước công việc quy trình[object Object]Lưu ý: Nếu bước công việc chưa có người thực hiện, người quản lý có thể thêm người thực hiện

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Evaluation Dataset

json

Dataset: json
Size: 7,276 evaluation samples
Columns: question and positive
Approximate statistics based on the first 1000 samples:
question positive
type string string
details
min: 9 tokens
mean: 25.13 tokens
max: 64 tokens
min: 37 tokens
mean: 210.41 tokens
max: 443 tokens

Samples:

question	positive
`Với vai trò trưởng bộ phận, làm sao để tôi có cái nhìn tổng quan về đánh giá cũng như thực hiện đúng nhiệm vụ của mình?`	PHÂN HỆ ĐÁNH GIÁ[object Object]Những gì bạn có thể làm[object Object]Theo dõi các tính năng/tác vụ đánh giá theo đúng vai trò sẽ giúp các bộ phận có cái nhìn tổng quan về đánh giá cũng như thực hiện đúng nhiệm vụ của mình. Đảm bảo tính độc lập trong quy trình quản lý và đánh giá nhân sự.[object Object]Tính năng/Tác vụ: Thiết lập tiêu chí đánh giá Xây dựng bộ tiêu chí đánh giá dựa trên các loại tiêu chí đánh giá, Người sử dụng: Ban lãnh đạo/Trưởng phòng hành chính nhân sự[object Object]Tính năng/Tác vụ: Quản lý mẫu đánh giá Xây dựng mẫu đánh giá với các tiêu chí đặc trưng cho từng vị trí trong doanh nghiệp, Người sử dụng: Bộ phận hành chính nhân sự[object Object]Tính năng/Tác vụ: Quản lý phiếu đánh giá Quản lý phiếu đánh giá định kỳ và người thực hiện đánh giá, Người sử dụng: Bộ phận hành chính nhân sự[object Object]Tính năng/Tác vụ: Thực hiện đánh giá, Người sử dụng: Trưởng bộ phận/Nhân viên[object Object]Tìm hiểu thêm tại trung tâm hỗ trợ 1Office
`Tính năng 'Form báo cáo' trong quy trình mẫu cho phép người dùng làm gì?`	Quản lý quy trình mẫu[object Object]Tạo mới quy trình mẫu[object Object]1. Truy cập phân hệ Văn bản[object Object]2. Ở trên cùng bên trái, chọn Tạo mới Quy trình mẫu[object Object]Bảng mô tả các node trong thiết lập quy trình mẫu:[object Object]Trường dữ liệu: Node bước xử lý, Mô tả: Cho phép cài đặt thông tin liên quan đến việc xử lý trong quy trình xử lý văn bản, mỗi bước sẽ có người chủ trì và người xử lý thông tin riêng[object Object]Trường dữ liệu: Node chuyển tiếp, Mô tả: Cho phép người dùng thực hiện thao tác chuyển xử lý sang bước tiếp theo[object Object]Trường dữ liệu: Node hành động, Mô tả: Cài đặt các thao tác thủ công của người dùng để thực hiện bước công việc. Ví dụ: Xác nhận, Không xác nhận ...[object Object]Trường dữ liệu: Node trình và ký, Mô tả: Cho phép người dùng cài đặt hồ sơ ký số và thực hiện ký số trên quy trình xử lý văn bản[object Object]Trường dữ liệu: Node trạng thái, Mô tả: Cho phép người dùng cập nhật trạng thái của bước xử lý: Hoàn thành[object Object]Tạm dừng[object Object]Hủy[object Object]Trường dữ liệu: Node gửi email, Mô tả: Cho phép người dùng cài đặt gửi email trực tiếp trên quy trình xử lý văn bản[object Object]Trường dữ liệu: Form báo cáo, Mô tả: Tính năng tùy chỉnh form trong quy trình công việc mẫu, cho phép người dùng tự cấu hình các trường hiển thị trong các bước xử lý công việc
`Sau khi tải plugin ký số về, tôi cần làm gì với file nén này?`	Ký token là gì? Để ký token, cần làm gì?[object Object][object Object]Ký token là một thuật ngữ thường được sử dụng để chỉ chữ ký số hoặc chứng thư số. Đây là một dạng chữ ký điện tử được tạo ra dựa trên các thuật toán mã hóa phức tạp, có giá trị pháp lý tương đương với chữ ký viết tay trên giấy. Chữ ký số thường được lưu trữ và quản lý trên một thiết bị vật lý như USB, thẻ thông minh, hoặc một thiết bị di động có chức năng tương tự. Thiết bị này được gọi là token.[object Object]Để ký bằng token, người dùng cần:[object Object]Download plugin hỗ trợ ký số tại đây .[object Object]Giải nén và cài đặt plugin[object Object]Cắm USB Token vào máy tính và bấm "Ký Token"

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Training Hyperparameters

Non-Default Hyperparameters

overwrite_output_dir: True
per_device_eval_batch_size: 32
gradient_accumulation_steps: 8
weight_decay: 0.01
num_train_epochs: 10
lr_scheduler_type: cosine
warmup_ratio: 0.05
fp16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: True
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 8
per_device_eval_batch_size: 32
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 8
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.01
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 10
max_steps: -1
lr_scheduler_type: cosine
lr_scheduler_kwargs: {}
warmup_ratio: 0.05
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
eval_use_gather_object: False
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss
0.5175	50	0.0767
1.0349	100	0.0424
1.5524	150	0.0172
2.0699	200	0.0126
2.5873	250	0.0066
3.1048	300	0.0057
3.6223	350	0.0016
4.1397	400	0.0014
4.6572	450	0.0007
5.1746	500	0.0011
5.6921	550	0.0005
6.2096	600	0.0004
6.7270	650	0.0004
7.2445	700	0.0004
7.7620	750	0.0004
8.2794	800	0.0004
8.7969	850	0.0004
9.3144	900	0.0003
9.8318	950	0.0004

Framework Versions

Python: 3.8.10
Sentence Transformers: 3.2.1
Transformers: 4.44.2
PyTorch: 2.4.1+cu124
Accelerate: 1.0.1
Datasets: 2.19.0
Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

bibtex

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

	question	positive
type	string	string
details	min: 9 tokens mean: 24.77 tokens max: 59 tokens	min: 31 tokens mean: 211.66 tokens max: 439 tokens