SentenceTransformer based on Qwen/Qwen3-Embedding-0.6B

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: Qwen/Qwen3-Embedding-0.6B
• Maximum Sequence Length: 32768 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • massive_triplet_v3

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 32768, 'do_lower_case': False}) with Transformer model: Qwen3Model 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': True, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

Training Details

Training Dataset

massive_triplet_v3

• Dataset: massive_triplet_v3 at 51266de
• Size: 500,000 training samples
• Columns: query, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative
  type	string	string	string
  details	min: 6 tokens mean: 22.57 tokens max: 67 tokens	min: 8 tokens mean: 132.85 tokens max: 1160 tokens	min: 4 tokens mean: 122.89 tokens max: 1758 tokens

• Samples:

  query	positive	negative
  방학기간에 소외지역의 청소년을 대상으로 청춘누리 봉사단이 할 수 있는 캠프의 이름은 뭐야	주요 수상기관 교육기부프로그램 개요[object Object]4. 대학생 동아리 ｢청춘누리 봉사단｣[object Object]□ 청춘누리축제[object Object]◦ (참가대상) 전국 유치원, 초·중·고등학생[object Object]◦ (활동내역) 대학생들이 운영하는 교육기부활동을 청소년들이 직접 체험해봄으로써 학생들이 사고력, 창의력 향상을 도모하고 자신의 꿈을 펼칠 수 있는 장 마련[object Object]◦ (주요성과) 대학생들의 교육기부에 대한 전반적인 이해를 돕고 교육 기부 활동의 우수성 홍보[object Object]□ 청춘누리봉사단과 함께하는 교육기부(쏙쏙캠프, 함성소리)[object Object]◦ (참가대상) 전국의 초·중학생[object Object]◦ (활동내역)[object Object]- 쏙쏙캠프 : 방학을 이용하여 상대적으로 교육기부 혜택이 적은 소외 지역을 방문하여 창의력 체험, 진로체험 등을 제공, 배움의 기회 균등 및 꿈을 찾아주는 활동 전개[object Object]- 함성소리 : 학기중 토요일마다 수도권에 있는 청소년 대상으로 꿈을 설계하고 지원하는 활동 전개[object Object]◦ (주요성과) 소외지역 청소년 대상 배움의 기회를 제공하고 대학생들의 봉사활동을 장려하여 많은 청소년 대상 멘토 활동 전개	개도국에 IT나눔을 실천한 청년들과 아름다운 동행[object Object]□ 미래창조과학부(장관 최문기)와 한국정보화진흥원(원장 장광수)은 12월 18일(수) 오후 2시 10분 과천과학관에서 ｢2013년도 월드프렌즈 IT봉사단 귀국보고대회｣(이하, IT봉사단 귀국보고대회)를 개최하였다.[object Object]o 정부는 2001년부터 현재까지 전 세계 70여개 개도국에 5,158명의 IT봉사단을 파견한 바 있으며, ｢IT봉사단 귀국보고대회｣는 매년 개도국에서 활동하고 온 봉사단원들이 서로의 경험을 공유하고 글로벌 역량을 배양하는 ‘소통'과 ‘협력‘의 장(場)으로 운영되고 있다.[object Object]※ 월드프렌즈(World Frends Korea, WFK) : 우리나라 해외봉사단사업 통합브랜드[object Object]□ 이번 ｢IT봉사단 귀국보고대회｣에는 30개국에 파견되었던 552명의 봉사단원 중 약 300여명의 봉사단원이 참석했으며, 윤종록 제2차관과 주한 외교사절(인도네시아 대사, 코스타리카 대사, 네팔 대사 등)이 참석해 세계의 오지를 누비고 온 봉사단원들을 격려했다.[object Object]o 윤종록 제2차관은 IT봉사단원들에게“귀한경험을 활용하여 대한민국의 이름을 빛내는 사람이 되기를 바란다”는 당부와 함께“정부는 여러분과 같은 젊은이들이 세계를 무대로 능력을 마음껏 발휘할 수 있는 글로벌 플랫폼을 구축하는데 노력할 계획”이라고 덧붙였다.
  Loads sensor filters from an Excel file. Both new style XLSX and oldstyle XLS formats are supported.	def load_sensor_filters_excel(filename, normalise=False, sheet_names=None):[object Object][object Object] sensor_filters = {}[object Object] with pd.ExcelFile(filename) as excel_file:[object Object] # default is all sheets[object Object] if not sheet_names:[object Object] sheet_names = excel_file.sheet_names[object Object][object Object] for sheet in sheet_names:[object Object] try:[object Object] dataframe = excel_file.parse([object Object] sheet, index_col=0[object Object] ) # the sheet as a DataFrame[object Object] # OK, we have the data frame. Let's process it...[object Object] if not _validate_filter_dataframe(dataframe):[object Object] continue[object Object][object Object] if normalise:[object Object] dataframe = _normalise_dataframe(dataframe)[object Object][object Object] sensor_filters[sheet] = ([object Object] np.array(dataframe.index),[object Object] dataframe.values.transpose(),[object Object] )[object Object][object Object] except xlrd.biffh.XLRDError:[object Object] continue[object Object] # except xlrd.biffh.XLRDError as xlrd_error:[object Object] # TODO: log wa...	def convert_csv(fname):[object Object][object Object] # Make sure this is an Excel file.[object Object] if (not is_excel_file(fname)):[object Object][object Object] # Not Excel, so no sheets.[object Object] return [][object Object][object Object] # Run soffice in listening mode if it is not already running.[object Object] run_soffice()[object Object] [object Object] # TODO: Make sure soffice is running in listening mode.[object Object] # [object Object] [object Object] # Connect to the local LibreOffice server.[object Object] context = connect(Socket(HOST, PORT))[object Object][object Object] # Load the Excel sheet.[object Object] component = get_component(fname, context)[object Object][object Object] # Iterate on all the sheets in the spreadsheet.[object Object] controller = component.getCurrentController()[object Object] sheets = component.getSheets()[object Object] enumeration = sheets.createEnumeration()[object Object] r = [][object Object] pos = 0[object Object] if sheets.getCount() > 0:[object Object] while enumeration.hasMoreElements():[object Object][object Object] # Move to next sheet.[object Object] sheet = enumeration.nextElement()[object Object] name = sheet.getName()[object Object] if (name.count(" ") > 10):[object Object] name = name.replace(" ", "")[object Object] name = fix_file_name(name)[object Object] ...
  Create an additional feature to metadata by counting number of occurrences in data, for a specific element_type	def create_count_features(metadata, element_type, data, grp_feat, res_feat, feature_suffix):[object Object] feature_name = 'n_'+ element_type + '_modif' + feature_suffix[object Object] newfeature = (data.groupby([grp_feat])[res_feat][object Object] .count()[object Object] .reset_index()[object Object] .fillna(0))[object Object] newfeature.columns = [grp_feat, feature_name][object Object] metadata = pd.merge(metadata, newfeature, on=grp_feat, how="outer").fillna(0)[object Object] return metadata	def test(self):[object Object] count = Counter()[object Object] for example in self.testing_set:[object Object] classification = self.classify(example.attributes)[object Object][object Object] if example.CLASS and classification:[object Object] count['TP'] += 1[object Object] elif not example.CLASS and classification:[object Object] count['FP'] += 1[object Object] elif not example.CLASS and not classification:[object Object] count['TN'] += 1[object Object] elif example.CLASS and not classification:[object Object] count['FN'] += 1[object Object] return count

• Loss: CachedGISTEmbedLoss with these parameters:
  json

  1{'guide': SentenceTransformer( 2 (0): Transformer({'max_seq_length': 40960, 'do_lower_case': False}) with Transformer model: Qwen3Model 3 (1): Pooling({'word_embedding_dimension': 4096, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': True, 'include_prompt': True}) 4 (2): Normalize() 5), 'temperature': 0.01}

Training Hyperparameters

Non-Default Hyperparameters

• overwrite_output_dir: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• gradient_accumulation_steps: 16
• learning_rate: 2e-06
• weight_decay: 0.01
• adam_beta2: 0.99
• adam_epsilon: 1e-07
• max_grad_norm: 0.3
• num_train_epochs: 1.0
• warmup_ratio: 0.1
• dataloader_num_workers: 16
• hub_model_id: CocoRoF/POLAR-Qwen3-0.6b-linq-gist
• prompts: ({'query': 'Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery:', 'document': ''},)
• batch_sampler: no_duplicates

All Hyperparameters

Training Logs

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.51.0
• PyTorch: 2.6.0+cu124
• Accelerate: 1.6.0
• Datasets: 3.3.2
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers