You can deploy this model and start earning money today!

Views

No views yet

SentenceTransformer

Name: Qwen3-Embedding-Medical-0.6B
Availability: InStock

This model was finetuned with Unsloth.

based on unsloth/Qwen3-Embedding-0.6B

This is a sentence-transformers model finetuned from unsloth/Qwen3-Embedding-0.6B on the huatuo_encyclopedia_qa dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: unsloth/Qwen3-Embedding-0.6B
Maximum Sequence Length: 512 tokens
Output Dimensionality: 1024 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- huatuo_encyclopedia_qa
Language: zh

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'PeftModelForFeatureExtraction'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': True, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    '脂溢性皮炎脱发会长吗',
    '脂溢性皮炎是好发在皮脂溢出部位的一种皮炎，就是指面的中部、躯干的中部，会出现红斑、黄红色的斑，有些油腻的鳞屑，会有一点瘙痒，患者会感到不舒服。那么，脂溢性皮炎脱发会长吗，一起来了解一下吧。脂溢皮炎出现脱发后头发会油腻发亮，头皮屑慢慢增多，经常出现奇痒，有时头发干枯无光泽，只要用手抓一抓，头发就会脱落，特别是两侧额角还会发生慢性弥漫性脱发。如果及时治疗控制好了脱发，没损伤到正常的毛囊，头发以后会慢慢长出来，而如果是造成毛囊坏死了，那就不会再长出来了。只要头皮有茸毛就会有新的生长的，关键要先治疗好脂溢性皮炎脱发，现代医学将脂溢性脱发的病因大致分为两大类：一是头皮局部微循环障碍造成的头皮供血不足,形成头发营养供给不足而导致脱发;二是由于内分泌失调,特别是雄性激素分泌过旺造成毛囊口畸变,角化过度,阻塞营养供应通道而造成脱发.另外,遗传因素,高寒,微量元素缺乏,毒性元素,放射性元素以及长期神经精神紧张等因素,也被认为是造成脱发的病因.所以西医主要采用改善头皮供血不足,补充维生素,镇静等方法治疗,但目前尚无特效疗法。脂溢性皮炎导致的脱发是可以恢复的，建议这类患者平时可以多吃一些清淡类的食物，不要吃过于油腻、辛辣的食物，最重要的是先治愈脂溢性皮炎，宜补充植物蛋白，多食大豆、黑芝麻、玉米等食品。宜补充铁质，多食黄豆、黑豆、蛋类、禽类、带鱼、虾、熟花生、菠菜、鲤鱼、香蕉、胡萝卜、马铃薯等。忌过食糖和脂肪丰富的食物，如肝类、肉类、洋葱等酸性食物。可以有效的缓解脂溢性皮炎。',
    '为缓激肽拮抗剂，是一种抗动脉粥样硬化药．本品抗动脉粥样硬化作用、抗炎作用和抗凝血作用均与抗缓激肽作用有关．它能使动脉硬化过程的进展明显减慢，并能产生预防作用，能使主动脉和粗大血管内动脉硬化斑数量和大小均有所减少．尚能降低二磷酸腺苷引起的血小板聚集，作用可维持3小时，抗凝血作用比双香豆素等弱，但在纤维蛋白熔解过程中能加速凝块的熔解．据认为，本品对与人体激肽系统激活和激肽过度形成有关的微循环障碍所致疾病最为有效，而对心、脑血管疾病疗效较差，因为后者不发生激肽代谢方面的重要变化。',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.8805,  0.0158],
#         [ 0.8805,  1.0000, -0.0810],
#         [ 0.0158, -0.0810,  1.0000]])

Training Details

Training Dataset

huatuo_encyclopedia_qa

Dataset: huatuo_encyclopedia_qa at 2989899
Size: 362,420 training samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 4 tokens
mean: 8.63 tokens
max: 21 tokens
min: 4 tokens
mean: 343.58 tokens
max: 512 tokens

Samples:

anchor	positive
`曲匹地尔片的用法用量`	`注意：同种药品可由于不同的包装规格有不同的用法或用量。本文只供参考。如果不确定，请参看药品随带的说明书或向医生询问。口服。一次50～100mg（1-2片），3次/日，或遵医嘱。`
`三期梅毒多久能治愈吗`	梅毒是一种进展十分缓慢的疾病，包括早期梅毒，晚期梅毒等等，一般来说，梅毒病程超过两年的就是晚期梅毒了，而晚期梅毒的治疗难度是比较大的，三期梅毒能完全治愈吗?该如何进行治疗?一、对于三期梅毒的治疗，中西各有妙招，希望患者在医生的指导下选择适合自己的治疗方法。被确诊为三期梅毒的患者很关心这个问题，梅毒需要讲究科学的治疗方法，三期梅毒患者如果有一个良好的心态，积极配合医生治疗，还有很有可能治愈的，具体治疗方法我们看看下文的介绍。二、三期梅毒又称晚期梅毒，是因梅毒初期没有进行治疗或者治疗不彻底所造成。好发于40-50岁之间。该期梅毒不仅局限于皮肤和粘膜，也可侵犯任何内脏器官和组织。三期梅毒可发生在感染后2年以上，一般多发于感染后3～4年。病程漫长，可持续10～30年。未经治愈的二期梅毒中约有1/3的病人可发展为晚期活动性梅毒;另有一部分患者不出现晚期梅毒症状，只是梅毒血清反应持续阳性，为晚期潜伏梅毒;也有一部分患者可以自愈。三、晚期梅毒可以通过药物治疗控制病情，但是治愈的可能性是比较小的，治疗还是有必要的，通过有效的治疗可以缓解患者的症状，杀灭一部分的梅毒螺旋体。虽然治愈的可能性不高，但是患者还是应当坚持治疗。通过上文的简单介绍，相信大家对于三期梅毒多久能治愈这一方面的问题已经有了自己的答案。对于梅毒患者来说，无论患病多少年，都应在确诊后及时进行正规的治疗处理。正规的治疗可以缓解患者的病情，患者还是应当坚持进行，并积极配合医生的治疗，说不定治愈的可能就发生了。
`肝癌术后饮食`	肝脏恶性肿瘤可分为原发性和继发性。原发性肝脏恶性肿瘤源于肝脏的上皮或间质组织。前者被称为原发性肝癌，是我国发病率高、危害大的恶性肿瘤。后者被称为肉瘤，与原发性肝癌相比相对较少。肝癌术后饮食注意什么呢？肝脏手术给人体带来巨大的创伤。剩余肝细胞的再生、增值和伤口愈合需要消耗大量的能量和蛋白质。建议肝癌术后患者适当补充高质量的蛋白质，以满足身体的需要。患者身体状况的改善也有利于进一步的后续抗肿瘤治疗。多吃营养。吃花椰菜、芝麻、洋葱和其他可以提高免疫功能的食物。。肝癌术后饮食要以高蛋白、高维生素饮食为主，比如牛奶、鸡蛋、猪肝、鸡肝、羊肝、香蕉、石榴、西瓜等等。肝癌患者术后一定要注意饮食的卫生，在清洁食物的时候，一定尽量多洗几次，在食物的选择上，也要适当的限制。肝脏手术后最常见的不适症状是食欲不振、腹胀和饱腹感。尽管随着时间的推移，这种情况会继续改善，但在开始时注意少吃多吃是很重要的。与此同时，我们应该停止吸烟、饮酒、咖啡、浓茶、碳酸饮料、酸辣食品和其他刺激性食物。吃饭时，我们应该慢慢吃，避免吃油腻的食物。我们应该限制光、可消化和脂肪的摄入。尤其是，我们不应该吃太多的动物脂肪，同时避免冷食。，餐后不宜过量的运动，肝癌术后的患者可以吃一些小米、玉米、土豆、赤豆、薏仁，可以做成粥或者是汤食用。肝癌患者禁忌油炸、坚硬的食物，不要抽烟，不要饮酒。在饮食的数量上面也要加以限制。意补硒，硒可以改善人体的防癌的功能，及含硒的药片、口服液。

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false 5}

The following tables demonstrate the model's capability to distinguish between treatment intent (correct answers) and usage/side-effect distractors (hard negatives), even when the distractors share high keyword overlap (e.g., entity name "阿莫西林").

Test Case 1: Intent Recognition (Medical Query)

Query: 阿莫西林胶囊主要用于治疗哪些疾病？

Similarity Score	Candidate Text	Result Type
0.8155	阿莫西林适用于敏感菌(不产β内酰胺酶菌株)所致的呼吸道感染、泌尿生殖道感染、皮肤软组织感染等。	✅ Correct Answer
0.4845	用于缓解轻至中度疼痛如头痛、关节痛、偏头痛、牙痛、肌肉痛、神经痛、痛经。	❌ Hard Negative (Wrong Disease)
0.3753	用于治疗高血压、心绞痛。口服，起始剂量10mg，每日一次。	❌ Hard Negative (Wrong Disease)
0.2545	口服。成人一次0.5g，每6～8小时1次，一日剂量不超过4g。	❌ Distractor (Usage Info)
0.1304	恶心、呕吐、腹泻及假膜性肠炎等胃肠道反应。皮疹、药物热和哮喘等过敏反应。	❌ Distractor (Side Effect)

Test Case 2: Entity Confusion Test (Hard Negative)

Query: 阿莫西林治什么？

Similarity Score	Candidate Text	Result Type
0.7735	阿莫西林适用于呼吸道感染。	✅ Correct Answer (Treatment)
0.7088	阿莫西林口服，一次0.5g。	❌ Hard Negative (Usage + Entity)

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 64
gradient_accumulation_steps: 2
learning_rate: 3e-05
max_steps: 120
lr_scheduler_type: constant_with_warmup
warmup_ratio: 0.03
fp16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 64
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 2
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 3e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 3.0
max_steps: 120
lr_scheduler_type: constant_with_warmup
lr_scheduler_kwargs: {}
warmup_ratio: 0.03
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss
0.0004	1	0.2458
0.0007	2	0.3754
0.0011	3	0.2256
0.0014	4	0.2025
0.0018	5	0.1641
0.0021	6	0.3087
0.0025	7	0.189
0.0028	8	0.1877
0.0032	9	0.1253
0.0035	10	0.24
0.0039	11	0.2242
0.0042	12	0.1313
0.0046	13	0.2015
0.0049	14	0.1898
0.0053	15	0.1771
0.0057	16	0.1523
0.0060	17	0.0779
0.0064	18	0.1579
0.0067	19	0.0988
0.0071	20	0.3388
0.0074	21	0.244
0.0078	22	0.1848
0.0081	23	0.2059
0.0085	24	0.2416
0.0088	25	0.1501
0.0092	26	0.192
0.0095	27	0.2614
0.0099	28	0.1959
0.0102	29	0.2134
0.0106	30	0.1626
0.0109	31	0.148
0.0113	32	0.2126
0.0117	33	0.0645
0.0120	34	0.1181
0.0124	35	0.1188
0.0127	36	0.1432
0.0131	37	0.1408
0.0134	38	0.1192
0.0138	39	0.1981
0.0141	40	0.108
0.0145	41	0.1279
0.0148	42	0.0626
0.0152	43	0.1279
0.0155	44	0.081
etc...

Framework Versions

Python: 3.12.12
Sentence Transformers: 5.2.0
Transformers: 4.56.2
PyTorch: 2.9.0+cu126
Accelerate: 1.12.0
Datasets: 4.3.0
Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss