This is a sentence-transformers model finetuned from AITeamVN/Vietnamese_Embedding on the dataset_full_fixed dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: AITeamVN/Vietnamese_Embedding
Maximum Sequence Length: 8192 tokens
Output Dimensionality: 1024 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- dataset_full_fixed

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Vietnamese_embeddings")
# Run inference
queries = [
    "B\u1ea1n\r\nB\u00e1 \u0110\u1ea1o th\u00e2n m\u1ebfn! \u0102n\r\nd\u01b0a chu\u1ed9t c\u00f3 m\u1ed9t s\u1ed1 t\u00e1c d\u1ee5ng nh\u01b0 ch\u1eefa ph\u00f9, gi\u00fap l\u1ee3i ti\u1ec3u, c\u00f3 t\u00e1c d\u1ee5ng thanh\r\nnhi\u1ec7t, gi\u1ea3i kh\u00e1t. Tuy nhi\u00ean, theo \u0110\u00f4ng y, d\u01b0a chu\u1ed9t c\u00f3 t\u00ednh l\u1ea1nh, n\u1ebfu \u0103n nhi\u1ec1u\r\ns\u1ebd sinh \u0111i ti\u1ec3u nhi\u1ec1u, th\u1eadm ch\u00ed ng\u01b0\u1eddi th\u1eadn y\u1ebfu c\u00f3 th\u1ec3 hay b\u1ecb v\u00e3i ti\u1ec3u v\u00e0 d\u1eabn\r\n\u0111\u1ebfn . Do v\u1eady, ng\u01b0\u1eddi b\u1ecb l\u1ea1nh b\u1ee5ng, \u1ea3nh h\u01b0\u1edfng ch\u1ee9c n\u0103ng th\u1eadn th\u00ec kh\u00f4ng\r\nn\u00ean \u0103n d\u01b0a chu\u1ed9t. C\u00f2n\r\nng\u01b0\u1eddi b\u00ecnh th\u01b0\u1eddng c\u0169ng kh\u00f4ng n\u00ean s\u1eed d\u1ee5ng qu\u00e1 nhi\u1ec1u d\u01b0a chu\u1ed9t trong th\u1eddi gian\r\nd\u00e0i, l\u00e0m ch\u1ee9c n\u0103ng th\u1eadn suy gi\u1ea3m. M\u1ed7i ng\u00e0y ch\u1ec9 n\u00ean \u0103n 1 - 2 qu\u1ea3 d\u01b0a chu\u1ed9t,\r\nkh\u00f4ng n\u00ean \u0103n v\u1edbi l\u1ea1c s\u1ebd sinh \u0111\u1ea7y h\u01a1i, kh\u00f3 ti\u00eau. Alobacsi.n Theo Ki\u1ebfn th\u1ee9c",
]
documents = [
    'Thưa bác sĩ,\r\n\r\nTôi rất thích ăn dưa chuột, ngày nào tôi cũng ăn. Nhưng có người nói ăn nhiều dưa chuột có thể bị liệt dương, xin hỏi có đúng không? Tôi tưởng ăn dưa chuột thì tốt cho chuyện sinh lý. (Nguyễn Bá Đạo - Bắc Giang)',
    'Hỗn dịch uống A.T Ibuprofen Syrup 100mg An Thiên giảm đau, kháng viêm (60ml)',
    'Viên nén Natidof 8 SPM điều trị thoái hóa đốt sống, vẹo cổ, đau lưng (3 vỉ x 10 viên)',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 1024] [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.6852, -0.0705, -0.0483]])

Evaluation

Metrics

Information Retrieval

Dataset: dim_768
Evaluated with InformationRetrievalEvaluator with these parameters:
json
1{ 2 "truncate_dim": 768 3}

Metric	Value
cosine_accuracy@1	0.7126
cosine_accuracy@3	0.8298
cosine_accuracy@5	0.8678
cosine_accuracy@10	0.906
cosine_precision@1	0.7126
cosine_precision@3	0.2766
cosine_precision@5	0.1736
cosine_precision@10	0.0906
cosine_recall@1	0.7126
cosine_recall@3	0.8298
cosine_recall@5	0.8678
cosine_recall@10	0.906
cosine_ndcg@10	0.8096
cosine_mrr@10	0.7787
cosine_map@100	0.7824

Training Details

Training Dataset

dataset_full_fixed

Dataset: dataset_full_fixed at ef2e7fd
Size: 43,803 training samples
Columns: positive and query
Approximate statistics based on the first 1000 samples:
positive query
type string string
details
min: 25 tokens
mean: 249.72 tokens
max: 1968 tokens
min: 6 tokens
mean: 77.99 tokens
max: 576 tokens

Samples:

positive query

Chào bạn, Có 2 nhóm nguyên nhân chính làm tăng Ferritin máu , có hoặc không có ứ đọng sắt ở các mô. Bệnh có ứ đọng sắt tiên phát phổ biến nhất là bệnh ứ sắt mô di truyền (hemochromatosis) do đột biến gen HFE, gen tham gia vào điều hòa hấp thu sắt ở ruột non. Bệnh hay gặp ở người da trắng và rất hiếm gặp ở người châu Á. Ở Việt Nam, bệnh tăng Ferritin có ứ sắt mô thứ phát hay gặp nhất là bệnh beta Thalassemia. Nguyên nhân tăng Ferritin không có ứ đọng sắt ở các mô, hay gặp ở người châu Á gồm viêm gan virus mạn tính, rượu hoặc bệnh gan do rượu và không do rượu, bệnh đái tháo đường hoặc hội chứng biến dưỡng. Ngoài ra tăng Ferritin máu hay gặp ở người mắc các bệnh mạn tính như viêm đa khớp dạng thấp, bệnh tự miễn, ungthư và suy thận mạn. Như vậy, trường hợp này có thể tăng Ferritine di truyền hoặc thứ phát gây ra tăng men gan, nhưng cũng có thể viêm gan mạn là nguyên nhân làm cho Ferritine tăng cao. Bạn nên đưa chồng đến tái khám chuyên khoa Viêm Gan để bác sĩ xem xét làm thêm xét nghiệm là... Bác sĩ cho em hỏi,

Chồng em bị bệnh cao men gan. Tháng vừa rồi đi xét nghiệm máu kết quả như sau:

- AST=114U/L

- ALT=204U/L

- GGT=536U/L

- Acid Uric huyết thanh=443

- Cholesterol toàn phần=6.6

- Triglycerid=3.2

- HDL- cholesterol=1.1

- LDL- cholesterol=4.0

- Ferritin=1348

Kết quả xét nghiệm với men gan cao như vậy và Ferritin quá cao có nguy hiểm không bác sĩ? Chồng em cần có chế độ dinh dưỡng như thế nào hay cần kiêng cữ các loại thức ăn nào?

Em gửi kèm kết quả xét nghiệm và đơn thuốc của bác sĩ. Mong bác sĩ tư vấn giúp em với những chỉ số hiện tại thì bệnh của chồng em có nguy hiểm không, có cần làm thêm các xét nghiệm khác để kiểm tra thêm không (đặc biệt là các xét nghiệm liên quan đến ung thư gan)? Chồng em hay cảm thấy mệt, ăn uống không ngon miệng và mấy tháng nay hay đau nhức khớp tay và khớp xương mông nữa.

Chồng em đi tiêu tiểu cũng khác bình thường, trung bình 1 ngày đi cầu khoảng 3 đến 4 lần, còn đi tiểu thì em thấy hơi khó, có khi đứn... | |

Mô tả ngắn:[object Object]Thuốc Bailuzym của Công ty TNHH Liên doanh Hasan – Dermapharm, thành phần chính là  Lactobacillus acidophilus . Bailuzym là thuốc dùng bổ sung vi khuẩn có lợi cho đường tiêu hóa và tăng cường khả năng miễn dịch trong các trường hợp: Tiêu chảy do nhiễm khuẩn, do kháng sinh và hóa trị liệu, viêm ruột cấp tính hay mạn tính, rối loạn tiêu hóa, rối loạn cân bằng vi sinh ruột do rượu, stress, du lịch, dự phòng các biến chứng đường tiêu hóa. [object Object] Bailuzym được bào chế dưới dạng thuốc bột. Đóng gói theo quy cách: Hộp 30 gói x gói 1 g.[object Object]Thành phần:[object Object]Lactobacillus acidophilus: 10^8CFU[object Object]Chỉ định:[object Object]Thuốc Bailuzym được chỉ định dùng trong các trường hợp bổ sung vi khuẩn có lợi cho đường tiêu hóa và tăng cường khả năng miễn dịch trong các trường hợp:[object Object]Tiêu chảy do nhiễm khuẩn, do kháng sinh và hóa trị liệu. Viêm ruột cấp tính hay mạn tính, rối loạn tiêu hóa: Chướng bụng, đầy hơi, táo bón. Rối loạn cân bằng vi sinh ruột do rượu, stress, du lịch. Dự phòng các biến chứng đường tiêu hóa.

| Bột Bailuzym Hasan bổ sung vi khuẩn có lợi cho đường tiêu hóa (30 gói x 1g) | |

AloBacsi rất vui được gặp lại Dinh Suu, Em có tiền căn sảy thai rồi thì cần cẩn thận trong cách đi đứng, sinh hoạt cũng như ăn uống sao cho khỏi bị ngộ độc. Đúng như em đã tìm hiểu, có rất nhiều nguyên nhân gây sảy thai nhưng nguyên nhân do chạy xe máy đường xa thì không được đưa vào trong sách. Tuy nhiên, cũng có một số trường hợp không tìm thấy được nguyên nhân. Mặc dù vậy em cũng cần phải đề phòng, nếu đường quá nhiều “ổ gà” hoặc đường quá xa như vậy sẽ không đảm bảo cho sức khỏe của em (sức khỏe của mẹ tốt thì con mới khỏe được). Tốt nhất, em nên thử que sau khi có trễ kinh một tuần nhưng cũng có trường hợp dương hoặc âm tính giả. Để chính xác em cần thử máu beta hCG. Thân mến!

Dạ, em xin chân thành cảm ơn BS đã trả lời giúp em câu hỏi trước! 
[object Object]
[object Object]BS cho em hỏi là việc thai lưu hoặc sảy thai theo em được biết thì có thể có nhiều nguyên nhân nhưng việc chạy xe máy nhiều có ảnh hưởng gì không thưa BS? Em bị sảy một lần nên em lo lắm nhưng công việc xa nhà nên mỗi ngày em phải chạy xe đi về hơn 40km việc này có ảnh hưởng gì đến thai nhi không?
[object Object]
[object Object]Tính từ ngày rụng trứng tới bây giờ đã 9 ngày rồi nhưng em thử que cũng chỉ có một vạch. Còn hy vọng có thai tháng này không thưa BS?

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false 5}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: epoch
per_device_train_batch_size: 2
per_device_eval_batch_size: 1
learning_rate: 1e-06
num_train_epochs: 1
lr_scheduler_type: constant_with_warmup
warmup_ratio: 0.1
fp16: True
tf32: False
load_best_model_at_end: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: epoch
prediction_loss_only: True
per_device_train_batch_size: 2
per_device_eval_batch_size: 1
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 1e-06
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: constant_with_warmup
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: False
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs