This is a sentence-transformers model finetuned from vinai/phobert-base-v2. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: vinai/phobert-base-v2
Maximum Sequence Length: 256 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("phobert-base-v2-c-loss")
# Run inference
sentences = [
    'Xin bác sĩ cho tôi hỏi: Cách đây 1 tháng tôi có đi kiểm tra xét nghiệm máu kết quả:   - Anti- HCV nhanh -   Dương tính   - AST                22 /37U/L   - ALT                20/ 40 U/L   - GGT                60/50 U/L   - Sắt              556.1 / 4.6 -275.0 ng/ml Bệnh viện quận chuyển tuyến tôi lên tỉnh và tôi xét nghiệm chuyên sâu để điều trị; Huyết học, sinh hoá, siêu âm tổng quát , định lượng HCV-RNA, định genotype kết quả tất cả men gan điều trong ngưỡng ( tốt), sắt cao, siêu âm các bộ phận đều tốt, riêng gan nhiễm mỡ. - Định lượng HCV–RNA kết quả dưới ngưỡng phát hiện - Định genotype  kết quả không định được Bác sĩ nói kết quả dưới ngưỡng không có chỉ định điều trị theo phác đồ, và cho tôi toa thuốc hổ trợ gan và hẹn tôi 3-4 tháng xuống xét nghiệm lại. Xin hỏi bác sĩ: Tôi bị viêm gan C cấp tính hay mãn tính. Tôi tìm hiểu trên mạng khi bị viêm gan C phải kiểm tra luôn định tính của bệnh (HCV-RNA) nhưng bác sĩ ở tỉnh không chỉ định xét nghiệm. Vậy virus viêm gan C của tôi còn không? Và lượng sắt trong máu cao có nguy hiểm không mà bác sĩ không chỉ định điều trị. Hiện nay cơ thể tôi hơi mệt, ăn chậm tiêu, hay buồn ngủ. Kính mong bác sĩ tư vấn giúp tôi. Xin thành thật cảm ơn. (Trần Long - Đông Nai)',
    'Xin chào Quốc Ngọc, Bạn chưa cho AloBacsi biết đã bao nhiêu tuổi? Và triệu chứng tê tay của bạn cũng còn sơ sài quá: - Tê đều cả hai tay, hai chân cả ngày hay chỉ tê tay chân một vùng nào đó như bàn tay, bàn chân? - Mức độ tê nhiều hay ít? - Có giảm cảm giác nhiều không? - Khi nào tê xuất hiện? Tê tăng khi nào? -Tê ngày một nhiều hơn không? - Tê có kèm yếu tay chân không? Tê tay chân do nhiều nguyên nhân như: viêm dây thần kinh, tê do chèn ép thần kinh (hội chứng ống cổ tay, thoát vị đĩa đệm), tê ở bệnh nhân đái tháo đường có biến chứng thần kinh, do thiếu canxi huyết,… Bạn nên tái khám tại chuyên khoa Thần kinh để được khám trực tiếp, chẩn đoán nguyên nhân và điều trị. Thân ái chào bạn!',
    'Thế Anh thân mến! Vùng mũi họng có một hệ thống các tổ chức lympho gồm các amydale (amidan) là: - Amygdale vòm (gọi là VA hay bị viêm lúc nhỏ, khi có biến chứng BS phải nạo đi) - Amygdale quanh lỗ tai vòi (là đường thông từ tai giữa xuống mũi) - Amygdale họng (là bộ phận hay viêm, mổ BS sẽ lấy nó đi) - Amygdale lưỡi (khi sờ tay vào sâu trong lưỡi có cảm giác sờ vào các hạt) - Các amygdale trên tạo thành một vòng bạch huyết, là tuyến đầu giúp cơ thể phát hiện, cảnh báo, ngăn chặn sự xâm nhập của các tác nhân gây bệnh từ ngoài vào. Hoạt động mạnh từ khi sinh ra cho tới 5-7 tuổi, khi lượng kháng thể đã đáp ứng cho nhu cầu bảo vệ của cơ thể thì chức năng sinh học của chúng giảm dần và sẽ teo đi. Bạn viêm amygdale mạn kéo dài nhiều tháng, nay tái phát hồi viêm (bị đau họng, nhức lắm: tức đang bị viêm cấp, hay viêm tấy quanh amygdale) nên làm cho hạch cổ sưng to, đồng thời làm cho viêm mũi xoang (không loại trừ viêm phế quản): khạc ra dịch nhầy, đôi khi có lẫn chút máu đỏ. Bạn đã có biến chứng (mũi, xoang, họng...), bệnh kéo dài và tái phát nhanh, mặc dù đã điều trị tích cực nhưng đáp ứng kém với điều trị nội khoa, đây là một trong những chỉ định của cắt amygdale. Năm nay bạn 18 tuổi nên việc cắt amygdale viêm mạn sẽ không ảnh hưởng tới sức khỏe (nếu amygdale là ổ nhiễm trùng, viêm thường xuyên thì việc cắt bỏ là cần thiết). Tuy nhiên bạn nên tới BS chuyên khoa Tai mũi họng để có chỉ định điều trị cụ thể. Trước khi thực hiện phẫu thuật các BS sẽ khám kỹ về tai mũi họng, khám nội khoa: tim mạch, hô hấp dưới, huyết học, dị ứng..., các tiền căn cá nhân, gia đình để đánh giá tổng trạng chung, phát hiện các bệnh lý và các bất thường về sức khỏe khác đi kèm, nếu được BS mới tiến hành phẫu thuật, nên bạn yên tâm. Tai biến trong và sau phẫu thuật có tỷ lệ cực nhỏ, rất hiếm gặp. Theo tài liệu của bộ môn Tai mũi họng, ĐH Y Dược TPHCM, tỷ lệ tử vong do cắt amygdale từ 1/10.000 -1/40.000. Bạn tham khảo thêm câu hỏi sau nhé: >> Chúc bạn mau chóng bình phục sức khỏe!',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Dataset: dim_768
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.4934
cosine_accuracy@3	0.641
cosine_accuracy@5	0.6958
cosine_accuracy@10	0.7772
cosine_precision@1	0.4934
cosine_precision@3	0.2137
cosine_precision@5	0.1392
cosine_precision@10	0.0777
cosine_recall@1	0.4934
cosine_recall@3	0.641
cosine_recall@5	0.6958
cosine_recall@10	0.7772
cosine_ndcg@10	0.6291
cosine_mrr@10	0.5824
cosine_map@100	0.5904

Training Details

Training Dataset

Unnamed Dataset

Size: 87,606 training samples
Columns: sentence1, sentence2, and label
Approximate statistics based on the first 1000 samples:
sentence1 sentence2 label
type string string int
details
min: 5 tokens
mean: 78.24 tokens
max: 256 tokens
min: 31 tokens
mean: 185.13 tokens
max: 256 tokens
0: ~47.90%
1: ~52.10%

Samples:

sentence1	sentence2	label
`Chào các BS ạ,Xin hỏi BS tôi đi khám nội soi đại tràng bệnh viện kết luận bị carcinnom biệt hoá kém, xâm nhập mô mỡ sợi là gì xin BS tư vấn giùm cảm ơn ạ!`	Carcinoma tức là ung thư dạng biểu mô, biệt hóa kém nghĩa là mức độ biệt hóa của tế bào ung thư Chào em, Kết quả này là hơi buồn đó bạn à, vì đây là bệnh ung thư đại tràng. "Carcinnom biệt hoá kém " là ung thư biểu mô tuyến ở đại tràng, là bệnh lý ác tính, nguy hiểm. Loại ung thư này thường xâm nhập sâu và gây di căn sớm ở hạch lympho tại chỗ. Bệnh ung thư đại tràng cần điều trị càng sớm càng tốt khi phát hiện ra bệnh. Điều trị ung thư đại tràng chủ yếu là ngoại khoa. Xạ trị và hoá trị liệu thường có tính chất hỗ trợ, có thể sử dụng đồng thời hay sau khi phẫu thuật. Bước tiếp theo BS sẽ đề nghị bạn làm thêm 1 số xét nghiệm để xác định giai đoạn của bệnh (kiểm tra thêm di căn hạch vùng, di căn xa), từ đó sẽ lên liệu trình điều trị phù hợp cho bạn, bạn nhé.	`1`
`Chào bác sĩ,`

Tôi có 2 cháu, cháu đầu được 13 tuổi và cháu sau được 8 tuổi, cả hai cháu khi sanh ra đều bị bất đồng nhóm máu với mẹ. Cháu đầu thì thay máu và cháu sau thì chiếu đèn. Hai cháu đều được đều trị kịp thời nên cũng không có tình trạng gòng người hay co giật. Nhưng nói chung thể trạng của 2 cháu so với những cháu bằng tuổi thì yếu hơn và không lanh lẹ.

Bác sĩ cho tôi hỏi tôi nghe nói là bệnh vàng da nhân nếu đều trị kịp thời thì không có sao đúng không bác sĩ? Nhưng tôi thấy con tôi cháu học rất kém hầu như không tiếp thu được, có phải đó là di chứng của bệnh vàng da không?

Tôi muốn sanh thêm 1 cháu nữa thì khả năng sanh cháu ra có bị vàng da nữa không? Người ta nói nếu sanh con gái là không bị vàng da có đúng không bác sĩ? Xin bác sĩ tư vấn, chân thành cám ơn bác sĩ rất nhiều!

(Mỹ Hạnh - Bình Phước) |

Bạn Mỹ Hạnh thân mến, Bệnh lý giữa mẹ và con là một bệnh
[object Object]lý cần được phát hiện sớm và điều trị kịp thời. Nếu như bé được điều trị kịp thời
[object Object](một bé phải thay máu và một bé phải chiếu đèn) như bạn trình bày sẽ không ảnh
[object Object]hưởng đến sự phát triển trí não của bé và không để lại di chứng. Còn nếu như bạn muốn tiếp tục sanh thêm bé nữa thì bệnh
[object Object]lý vẫn tiếp tục xuất hiện (dù bé đó là trai hay gái) vì một
[object Object]khi kháng thể được tạo ra thì kháng thể đó sẽ tồn tại vĩnh viễn trong máu của mẹ.

| 1 | |

Chào BS,
[object Object]
[object Object]Tôi đi khám và được chẩn đoán bị nhiễm khuẩn tiết niệu và được cấp 3 loại thuốc uống là Metronidazol, Nalidixic axid, Rotudin. Nhưng khi uống 2 loại Metro và Nali thì tôi có cảm giác mệt, hoa mắt, chóng mặt giống tác dụng phụ mà trong toa thuốc đã nêu. BS cho tôi hỏi nếu tiếp tục uống thì có nguy hiểm không? Nếu đổi sang thuốc khác thì nên uống thuốc gì? Mong BS tư vấn. Cám ơn BS! (Minh Hậu – Nha Trang).

Chào bạn, Nếu kết quả xét nghiệm của bạn về , gồm HBsAg âm tính và Anti HBs dương tính thì bạn hoàn toàn có thể hiến máu trở lại. Khi đi hiến máu bạn cần đem theo kết quả của 2 xét nghiệm trên để làm bằng chứng. Ngoài ra, như thường lệ, bạn vẫn cần phải hội tụ đủ các yêu cầu an toàn về hiến máu thì mới được tham gia hiến máu , bạn nhé. Điều kiện để được hiến máu là người hiến máu phải có: tuổi từ 18 đến 60 với nam, 
[object Object]18 đến 55 với nữ. Cân nặng trên 45kg với nam và trên 43kg với nữ. Mạch 
[object Object]và huyết áp đều bình thường, không cao quá cũng không thấp quá. Phụ nữ 
[object Object]đang mang thai, đang "đèn đỏ", điều hòa kinh nguyệt, đang cho con bú, và
[object Object] người mới hiến máu cách đó dưới 3 tháng với nam và 4 tháng với nữ thì 
[object Object]không được hiến máu, Đang / vừa khỏi cảm cúm hoặc đang uống thuốc trị 
[object Object]bệnh,  Mới chích ngừa chưa được 3 tháng, Mới bị vết thương, vết cắt, nhổ
[object Object] răng dưới 1 tháng, Đang bị bệnh ngoài da thì phải tạm hoãn hiến máu. Thân mến. Câu tư vấn trước: BS.CK1 Cao Thị Lan Hương Cổng thông tin Tư...

| 0 |

Loss: ContrastiveLoss with these parameters:
json
1{ 2 "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE", 3 "margin": 0.5, 4 "size_average": true 5}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: epoch
per_device_train_batch_size: 40
per_device_eval_batch_size: 40
learning_rate: 1e-06
num_train_epochs: 5
lr_scheduler_type: constant_with_warmup
warmup_ratio: 0.1
bf16: True
tf32: False
load_best_model_at_end: True
optim: adamw_torch_fused
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: epoch
prediction_loss_only: True
per_device_train_batch_size: 40
per_device_eval_batch_size: 40
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 1e-06
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 5
max_steps: -1
lr_scheduler_type: constant_with_warmup
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: False
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
tp_size: 0
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs