SentenceTransformer based on Qwen/Qwen3-Embedding-0.6B

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: Qwen/Qwen3-Embedding-0.6B
• Maximum Sequence Length: 32768 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • parquet

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 32768, 'do_lower_case': False, 'architecture': 'Qwen3Model'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': True, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

Training Details

Training Dataset

parquet

• Dataset: parquet
• Size: 522,520 training samples
• Columns: anchor, positive, negative, and negative_0
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative	negative_0
  type	string	string	string	string
  details	min: 35 tokens mean: 670.11 tokens max: 1880 tokens	min: 3 tokens mean: 24.14 tokens max: 84 tokens	min: 3 tokens mean: 31.32 tokens max: 328 tokens	min: 3 tokens mean: 31.32 tokens max: 328 tokens

• Samples:

  anchor	positive	negative	negative_0
  <|im_start|>assistant[object Object]明けましておめでとうございます。[姓名]でございます。<|im_end|>[object Object]<|im_start|>user[object Object]すみません。アンテナの修理を頼んであるんだけど、来なくてもいいです。<|im_end|>[object Object]<|im_start|>assistant[object Object]	工事のキャンセルのお申し出ということで承りました。	そこでご了承いただいてから実際の作業に移らせていただきますので、もしご納得いただけなかったり検討されたい場合には、その場でキャンセルも可能でございます。料金が発生した場合は工事後現金払いとなりますので、よろしくお願いします。	そこでご了承いただいてから実際の作業に移らせていただきますので、もしご納得いただけなかったり検討されたい場合には、その場でキャンセルも可能でございます。料金が発生した場合は工事後現金払いとなりますので、よろしくお願いします。
  <|im_start|>assistant[object Object]明けましておめでとうございます。[姓名]でございます。<|im_end|>[object Object]<|im_start|>user[object Object]すみません。アンテナの修理を頼んであるんだけど、来なくてもいいです。<|im_end|>[object Object]<|im_start|>assistant[object Object]	工事のキャンセルのお申し出ということで承りました。	1月末でもう完全にスカパーをやめるという申し込みをされてしまったので、それがもう事前申し込みの受付もキャンセルみたいな扱いになってしまっていたという状況ですね。	1月末でもう完全にスカパーをやめるという申し込みをされてしまったので、それがもう事前申し込みの受付もキャンセルみたいな扱いになってしまっていたという状況ですね。
  <|im_start|>assistant[object Object]明けましておめでとうございます。[姓名]でございます。<|im_end|>[object Object]<|im_start|>user[object Object]すみません。アンテナの修理を頼んであるんだけど、来なくてもいいです。<|im_end|>[object Object]<|im_start|>assistant[object Object]	工事のキャンセルのお申し出ということで承りました。	お伺いしました内容にご納得いただけた場合は了承いただいて作業を進めさせていただきます。全くご納得いただけない場合は現地でもキャンセルは可能でございます。作業料金が発生した場合は、工事業者に現金でのお支払いをお願いしております。	お伺いしました内容にご納得いただけた場合は了承いただいて作業を進めさせていただきます。全くご納得いただけない場合は現地でもキャンセルは可能でございます。作業料金が発生した場合は、工事業者に現金でのお支払いをお願いしております。

• Loss: MultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false 5}

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 2
• gradient_accumulation_steps: 16
• learning_rate: 0.0001
• num_train_epochs: 2
• lr_scheduler_type: cosine
• warmup_ratio: 0.05
• bf16: True
• remove_unused_columns: False
• push_to_hub: True
• hub_model_id: Ryuk00/qwen-embedding-finetuned-v2

All Hyperparameters

Training Logs