You can deploy this model and start earning money today!

Views

No views yet

Gte mulitilingual base trained on Vietnamese Health Question Answering pairs

Name: gte-multilingual-base-v2.0
Availability: InStock

This is a sentence-transformers model finetuned from Alibaba-NLP/gte-multilingual-base on the vi_health_qa dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: Alibaba-NLP/gte-multilingual-base
Maximum Sequence Length: 8192 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- vi_health_qa
Language: vi

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("BookingCare/gte-multilingual-base-v2.0")
# Run inference
sentences = [
    'query: Những công dụng cụ thể của pectin trong thực phẩm và làm đẹp là gì?\n',
    'Chất **xơ** **tan trong nước** (pectin) là một phụ gia thực phẩm được sử dụng như chất nhũ hóa, chất ổn định và chất làm đặc. Bên cạnh đó, nó còn có những công dụng sau đây:\n\n* Pectin được sử dụng làm chất tạo gel.\n* Sử dụng làm chất làm đặc và ổn định.\n* Pectin được sử dụng trong mứt để có vẻ ngoài giống như thạch.\n* Dùng để chống lại [**táo bón**](https://www.vinmec.com/vie/benh/tao-bon-3001) và [**tiêu chảy**](https://www.vinmec.com/vie/benh/tieu-chay-3002) bằng cách tăng độ nhớt và khối lượng của phân. Đặc biệt, **chất xơ** này còn có thể giúp giảm buồn nôn.\n* Nó còn được sử dụng trong các sản phẩm mỹ phẩm như một chất ổn định.',
    'Núm phụ răng (Dens evaginatus) là thuật ngữ được dùng để chỉ những bất thường của răng có hình dạng giống như núm, múi dư trên bề mặt răng. Tình trạng này thường xuất hiện ở mặt trong của răng hàm trên (Còn gọi là múi Talon) hoặc mặt nhai của răng cối nhỏ hàm dưới.\n\nNguyên nhân của tình trạng răng có núm phụ này đến nay vẫn chưa được xác định. Một số giả thuyết đặt ra là do di truyền hoặc do chấn thương cục bộ tác động lên mầm răng.\n\nTrong giai đoạn phôi thai, sự bất thường về tăng sinh và gấp lại 1 phần biểu mô men ở bên trong và các tế bào ngoại bào phía dưới của nhú răng và diễn ra trong suốt giai đoạn chuông của quá trình hình thành răng.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.915
cosine_accuracy@3	0.963
cosine_accuracy@5	0.973
cosine_accuracy@10	0.982
cosine_precision@1	0.915
cosine_precision@3	0.321
cosine_precision@5	0.1946
cosine_precision@10	0.0982
cosine_recall@1	0.915
cosine_recall@3	0.963
cosine_recall@5	0.973
cosine_recall@10	0.982
cosine_ndcg@10	0.951
cosine_mrr@10	0.9407
cosine_map@100	0.9413

Information Retrieval

Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.893
cosine_accuracy@3	0.964
cosine_accuracy@5	0.971
cosine_accuracy@10	0.985
cosine_precision@1	0.893
cosine_precision@3	0.3213
cosine_precision@5	0.1942
cosine_precision@10	0.0985
cosine_recall@1	0.893
cosine_recall@3	0.964
cosine_recall@5	0.971
cosine_recall@10	0.985
cosine_ndcg@10	0.9431
cosine_mrr@10	0.9293
cosine_map@100	0.9298

Training Details

Training Dataset

vi_health_qa

Dataset: vi_health_qa at e2b7864
Size: 114,654 training samples
Columns: query and document
Approximate statistics based on the first 1000 samples:
query document
type string string
details
min: 8 tokens
mean: 16.99 tokens
max: 59 tokens
min: 25 tokens
mean: 374.24 tokens
max: 998 tokens

Samples:

query	document
`query: Điều chỉnh lại liều lượng sử dụng collagen`	`Theo nhiều nghiên cứu khoa học, với 1000 – 2000mg collagen là liều lượng phù hợp nhất để cơ thể hấp thu, giúp phát huy tác dụng từ collagen. Đặc biệt, để tốt cho xương khớp, tóc, móng và da ở độ tuổi 30, bạn cần dùng ít nhất 3000mg collagen mỗi ngày, tuy nhiên cũng không nên dùng vượt qua 5000mg/ ngày.`
`query: Sử dụng một số loại thuốc trị mụn tại chỗ`	`Một số loại [object Object] tại chỗ dạng gel như Differin, Retin-A, Nexon... có thể vừa giúp làm giảm lượng bã nhờn trên da vừa hỗ trợ điều trị tình trạng mụn trứng cá.`
`query: Hội chứng suy nút xoang là gì?`	[object Object] là một dạng [object Object] đặc biệt, gây ảnh hưởng đến nút xoang, là bộ phận tạo nhịp tim tự nhiên của cơ thể. Nó có thể gây chậm nhịp tim hoặc tạo ra những khoảng thời gian ngưng tim kéo dài giữa những lần tim đập. Nguy hiểm hơn là khiến cho nhịp tim không đều, dẫn tới [object Object].[object Object][object Object]Hội chứng này có thể phát sinh từ nhiều nguyên nhân khác nhau, bao gồm tự nhiên hoặc do các yếu tố bên ngoài như căng thẳng, thay đổi hormone, hoặc các vấn đề về hệ thống dẫn truyền tín hiệu điện trong tim. Tuy khá hiếm gặp, nhưng càng lớn tuổi càng có nguy cơ mắc phải hội chứng này. Nhiều trường hợp đã phải gắn thêm máy tạo nhịp để tim đập ổn định hơn. Hội chứng này còn được gọi là rối loạn chức năng nút xoang, hoặc bệnh nút xoang.

Loss: MatryoshkaLoss with these parameters:
json
1{ 2 "loss": "MultipleNegativesRankingLoss", 3 "matryoshka_dims": [ 4 768, 5 512, 6 256 7 ], 8 "matryoshka_weights": [ 9 1, 10 1, 11 1 12 ], 13 "n_dims_per_step": -1 14}

Evaluation Dataset

vi_health_qa

Dataset: vi_health_qa at e2b7864
Size: 114,654 evaluation samples
Columns: query and document
Approximate statistics based on the first 1000 samples:
query document
type string string
details
min: 7 tokens
mean: 16.77 tokens
max: 52 tokens
min: 2 tokens
mean: 358.34 tokens
max: 1021 tokens

Samples:

query	document
`query: Biến chứng của hội chứng vành cấp: SCA`	Một số biến chứng nghiêm trọng đe dọa bệnh nhân trong những ngày sau SCA, đặc biệt là loại STEMI.[object Object][object Object]* [object Object]: đặt bóng đối xung động mạch chủ là biện pháp được lựa chọn để làm giảm công thất (T) và cải thiện tưới máu mạch vành mà không làm tăng mVO2;[object Object]* [object Object]: rung nhĩ ,bloc dẫn truyền nhĩ-thất, nhịp tim nhanh hoặc rung tâm thất;[object Object]* [object Object] [object Object]): thiếu máu cục bộ xuyên thành hoặc đứt cơ nhú; trong trường hợp hở van hai lá nặng, đặt bóng đối xung có hiệu quả trong việc chờ sửa chữa phẫu thuật;[object Object]* [object Object][object Object] cần đóng thông liên thất bằng phẫu thuật;[object Object]* [object Object] thường gây chết người nhất bởi chèn ép tim cấp tính;[object Object]* [object Object] Thuốc ức chế men chuyển ức chế tái định dạng thất (T), nhưng phẫu thuật cắt bỏ chỗ phình thường là cần thiết;[object Object]* *Huyết khối trong buồng...
`query: Ưu và nhược điểm của thuốc tránh thai chỉ có progestin`	### 3.1. Ưu điểm của thuốc tránh thai chỉ có progestin[object Object][object Object][object Object] tốt hơn các loại thuốc tránh thai bình thường khác nếu sử dụng trong những trường hợp đang cho con bú vì loại thuốc này sẽ không ảnh hưởng đến quá trình sản xuất sữa (estrogen làm giảm chất lượng và số lượng sữa).[object Object][object Object]### [object Object][object Object]Loại này cũng an toàn hơn các loại thuốc tránh thai bình thường trong một số trường hợp như ở phụ nữ trên 35 tuổi, những trường hợp hút thuốc lá, tăng huyết áp, béo phì và có tiền sử các bệnh về đông máu.[object Object][object Object]Viên tránh thai thông thường làm cho một vài phụ nữ bị đau dạ dày hay đau đầu nhiều. Trong khi đó, [object Object] thường không gây ra các tác dụng phụ này.[object Object][object Object]### 3.2. Nhược điểm của thuốc tránh thai chỉ có progestin[object Object][object Object]Nhược điểm của thuốc ngừa thai chỉ có progestin là:[object Object][object Object][object Object], không có ngày nghỉ, và đặc biệt phải uống đúng giờ trong ngày. Nếu quên uống một ngày, phải sử dụng phương pháp tránh thai thứ 2 cho hết chu kỳ đó (cho đến c...
`query: Có cái nhìn thực tế về giảm cân sau sinh`	`Hãy nhớ rằng bạn rất khó trở lại cân nặng hoặc hình dạng chính xác như trước khi mang thai. Đối với nhiều phụ nữ, mang thai sẽ gây ra những thay đổi vĩnh viễn. Bụng của họ sẽ mềm hơn, hông rộng hơn một chút và vòng eo lớn hơn. Vì vậy, bạn nên điều chỉnh mục tiêu của mình sao cho gần với thực tế nhất, tránh gây áp lực cho bản thân.`

Loss: MatryoshkaLoss with these parameters:
json
1{ 2 "loss": "MultipleNegativesRankingLoss", 3 "matryoshka_dims": [ 4 768, 5 512, 6 256 7 ], 8 "matryoshka_weights": [ 9 1, 10 1, 11 1 12 ], 13 "n_dims_per_step": -1 14}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_eval_batch_size: 16
per_gpu_eval_batch_size: 16
learning_rate: 2e-05
num_train_epochs: 1
warmup_ratio: 0.1
bf16: True
prompts: {'query': 'query: ', 'answer': 'document: '}
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 8
per_device_eval_batch_size: 16
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: 16
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: {'query': 'query: ', 'answer': 'document: '}
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	Validation Loss	cosine_ndcg@10
0	0	-	-	0.8799
0.0001	1	0.456	-	-
0.0142	100	-	0.5930	0.9080
0.0284	200	-	0.4065	0.9175
0.0426	300	-	0.3455	0.9196
0.0568	400	-	0.3140	0.9246
0.0710	500	0.3185	0.2874	0.9298
0.0852	600	-	0.2967	0.9267
0.0994	700	-	0.2708	0.9272
0.1136	800	-	0.2690	0.9276
0.1278	900	-	0.2488	0.9342
0.1420	1000	0.1502	0.2666	0.9325
0.1562	1100	-	0.2555	0.9374
0.1704	1200	-	0.2720	0.9323
0.1846	1300	-	0.2585	0.9385
0.1988	1400	-	0.2350	0.9412
0.2130	1500	0.1635	0.2381	0.9362
0.2272	1600	-	0.2616	0.9361
0.2414	1700	-	0.2489	0.9395
0.2556	1800	-	0.2585	0.9381
0.2698	1900	-	0.2604	0.9356
0.2841	2000	0.1204	0.2467	0.9401
0.2983	2100	-	0.2525	0.9397
0.3125	2200	-	0.2567	0.9371
0.3267	2300	-	0.2371	0.9428
0.3409	2400	-	0.2568	0.9426
0.3551	2500	0.1198	0.2534	0.9419
0.3693	2600	-	0.2604	0.9420
0.3835	2700	-	0.2661	0.9398
0.3977	2800	-	0.2573	0.9424
0.4119	2900	-	0.2554	0.9476
0.4261	3000	0.1124	0.2447	0.9452
0.4403	3100	-	0.2314	0.9463
0.4545	3200	-	0.2210	0.9487
0.4687	3300	-	0.2261	0.9456
0.4829	3400	-	0.2318	0.9436
0.4971	3500	0.1182	0.2255	0.9467
0.5113	3600	-	0.2175	0.9464
0.5255	3700	-	0.2158	0.9459
0.5397	3800	-	0.2170	0.9449
0.5539	3900	-	0.2162	0.9455
0.5681	4000	0.1052	0.2127	0.9456
0.5823	4100	-	0.2067	0.9474
0.5965	4200	-	0.2129	0.9459
0.6107	4300	-	0.2054	0.9476
0.6249	4400	-	0.2023	0.9487
0.6391	4500	0.1249	0.1994	0.9493
0.6533	4600	-	0.1946	0.9498
0.6675	4700	-	0.1963	0.9496
0.6817	4800	-	0.1919	0.9494
0.6959	4900	-	0.1911	0.9489
0.7101	5000	0.1066	0.1881	0.9518
0.7243	5100	-	0.1865	0.9508
0.7385	5200	-	0.1872	0.9517
0.7527	5300	-	0.1883	0.9524
0.7669	5400	-	0.1938	0.9505
0.7811	5500	0.1088	0.1982	0.9510
0.7953	5600	-	0.2021	0.9500
0.8095	5700	-	0.2035	0.9501
0.8237	5800	-	0.2011	0.9514
0.8379	5900	-	0.2030	0.9512
0.8522	6000	0.0964	0.2028	0.9503
0.8664	6100	-	0.2068	0.9509
0.8806	6200	-	0.2040	0.9497
0.8948	6300	-	0.2030	0.9503
0.9090	6400	-	0.2003	0.9509
0.9232	6500	0.0896	0.1982	0.9513
0.9374	6600	-	0.1971	0.9511
0.9516	6700	-	0.1965	0.9512
0.9658	6800	-	0.1974	0.9510
0.9800	6900	-	0.1970	0.9506
0.9942	7000	0.0803	0.1969	0.9510
1.0	7041	-	-	0.9431

Framework Versions

Python: 3.10.14
Sentence Transformers: 3.3.1
Transformers: 4.46.3
PyTorch: 2.4.0
Accelerate: 1.1.1
Datasets: 3.1.0
Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

bibtex

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

bibtex

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

	query	document
type	string	string
details	min: 8 tokens mean: 16.99 tokens max: 59 tokens	min: 25 tokens mean: 374.24 tokens max: 998 tokens