This is a sentence-transformers model finetuned from jinaai/jina-embeddings-v5-text-small-retrieval. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: jinaai/jina-embeddings-v5-text-small-retrieval
Maximum Sequence Length: 32768 tokens
Output Dimensionality: 1024 dimensions
Similarity Function: Cosine Similarity
Supported Modality: Text

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'Qwen3Model'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'lasttoken', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("quockhangdev/Jina-Embeddings-v5-Text-Small-Retrieval-Stage-1-model")
# Run inference
queries = [
    'Bộ Tài chính quy định công ty xổ số điện toán phải kiểm tra, bảo dưỡng hệ thống xổ số điện toán bao nhiêu lần trong một năm?',
]
documents = [
    'đ) Được công ty xổ số điện toán kiểm tra, bảo dưỡng định kỳ theo khuyến cáo của nhà sản xuất và quy định của công ty xổ số điện toán nhưng tối đa sáu (06) tháng một lần. 3. Hệ thống camera, màn hình để phục vụ cho việc giám sát quay số mở thưởng điện tử được bố trí ở những vị trí đảm bảo có thể giám sát quay số mở thưởng. Hình ảnh theo dõi qua camera được lưu giữ trong thời gian tối thiểu là sáu mươi (60) ngày, kể từ ngày quay số mở thưởng.',
    'Khoản 1. Cấp công trình quy định tại Thông tư này được xác định theo các tiêu chí sau: a) Mức độ quan trọng, quy mô công suất: Áp dụng cho từng công trình độc lập hoặc một tổ hợp các công trình hoặc một dây chuyền công nghệ gồm nhiều hạng mục thuộc dự án đầu tư xây dựng công trình theo các loại công trình quy định tại Phụ lục I Thông tư này; b) Quy mô kết cấu: Áp dụng cho từng công trình độc lập thuộc dự án đầu tư xây dựng công trình theo các loại kết cấu quy định tại Phụ lục II Thông tư này.',
    'Điều 10. Tổ chức kiểm tra việc phân hạng và công nhận hạng nhà chung cư 1. Cục Quản lý nhà và thị trường bất động sản tổ chức thực hiện kiểm tra hoặc chủ trì, phối hợp với các cơ quan, đơn vị chức năng thuộc Bộ Xây dựng và các Bộ, ngành có liên quan tổ chức kiểm tra định kỳ hoặc đột xuất việc phân hạng và công nhận hạng nhà chung cư trên phạm vi cả nước. 2. Sở Xây dựng các tỉnh, thành phố trực thuộc trung ương tổ chức thực hiện kiểm tra hoặc chủ trì, phối hợp với các cơ quan chức năng tại địa phương tổ chức kiểm tra định kỳ hoặc đột xuất việc phân hạng và công nhận hạng nhà chung cư trên địa bàn.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 1024] [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.6737, -0.0703,  0.1157]])

Training Details

Training Dataset

Unnamed Dataset

Size: 507,152 training samples
Columns: query and document
Approximate statistics based on the first 1000 samples:
query document
type string string
details
min: 43 characters
mean: 117.84 characters
max: 318 characters
min: 444 characters
mean: 790.51 characters
max: 1195 characters

Samples:

query	document
`Bộ Giao thông vận tải quy định các đơn vị kinh doanh vận tải nào phải lắp đặt thiết bị giám sát hành trình trên xe ô tô?`	Chương I. QUY ĐỊNH CHUNG Điều 1. Phạm vi điều chỉnh. Thông tư này quy định về cung cấp, quản lý và sử dụng dữ liệu từ thiết bị giám sát hành trình của xe ô tô sau (sau đây gọi chung là thiết bị giám sát hành trình). Điều 2. Đối tượng áp dụng. Thông tư này áp dụng đối với các đơn vị kinh doanh vận tải, bến xe khách, bến xe hàng, các đơn vị cung cấp dịch vụ giám sát hành trình và các cơ quan, tổ chức, cá nhân có liên quan đến việc cung cấp, quản lý và sử dụng dữ liệu từ thiết bị giám sát hành trình của xe ô tô trong phạm vi toàn quốc. Điều 3. Giải thích từ ngữ. Trong Thông tư này, các từ ngữ dưới đây được hiểu như sau: 1. Hệ thống thông tin: là tập hợp các thiết bị phần cứng, phần mềm và đường truyền dùng để thu nhận, quản lý, khai thác dữ liệu từ thiết bị giám sát hành trình. 2. Dữ liệu: là tập hợp các thông tin có cấu trúc được truyền từ thiết bị giám sát hành trình về máy chủ dịch vụ và từ máy chủ dịch vụ truyền về Tổng cục Đường bộ Việt Nam.
`Bộ Giao thông vận tải giải thích như thế nào về các từ ngữ như 'hệ thống thông tin' và 'dữ liệu' trong quy định về thiết bị giám sát hành trình?`	Chương I. QUY ĐỊNH CHUNG Điều 1. Phạm vi điều chỉnh. Thông tư này quy định về cung cấp, quản lý và sử dụng dữ liệu từ thiết bị giám sát hành trình của xe ô tô sau (sau đây gọi chung là thiết bị giám sát hành trình). Điều 2. Đối tượng áp dụng. Thông tư này áp dụng đối với các đơn vị kinh doanh vận tải, bến xe khách, bến xe hàng, các đơn vị cung cấp dịch vụ giám sát hành trình và các cơ quan, tổ chức, cá nhân có liên quan đến việc cung cấp, quản lý và sử dụng dữ liệu từ thiết bị giám sát hành trình của xe ô tô trong phạm vi toàn quốc. Điều 3. Giải thích từ ngữ. Trong Thông tư này, các từ ngữ dưới đây được hiểu như sau: 1. Hệ thống thông tin: là tập hợp các thiết bị phần cứng, phần mềm và đường truyền dùng để thu nhận, quản lý, khai thác dữ liệu từ thiết bị giám sát hành trình. 2. Dữ liệu: là tập hợp các thông tin có cấu trúc được truyền từ thiết bị giám sát hành trình về máy chủ dịch vụ và từ máy chủ dịch vụ truyền về Tổng cục Đường bộ Việt Nam.
`Pháp luật quy định như thế nào về việc thu nhận, quản lý và khai thác dữ liệu từ thiết bị giám sát hành trình của xe ô tô?`	Chương I. QUY ĐỊNH CHUNG Điều 1. Phạm vi điều chỉnh. Thông tư này quy định về cung cấp, quản lý và sử dụng dữ liệu từ thiết bị giám sát hành trình của xe ô tô sau (sau đây gọi chung là thiết bị giám sát hành trình). Điều 2. Đối tượng áp dụng. Thông tư này áp dụng đối với các đơn vị kinh doanh vận tải, bến xe khách, bến xe hàng, các đơn vị cung cấp dịch vụ giám sát hành trình và các cơ quan, tổ chức, cá nhân có liên quan đến việc cung cấp, quản lý và sử dụng dữ liệu từ thiết bị giám sát hành trình của xe ô tô trong phạm vi toàn quốc. Điều 3. Giải thích từ ngữ. Trong Thông tư này, các từ ngữ dưới đây được hiểu như sau: 1. Hệ thống thông tin: là tập hợp các thiết bị phần cứng, phần mềm và đường truyền dùng để thu nhận, quản lý, khai thác dữ liệu từ thiết bị giám sát hành trình. 2. Dữ liệu: là tập hợp các thông tin có cấu trúc được truyền từ thiết bị giám sát hành trình về máy chủ dịch vụ và từ máy chủ dịch vụ truyền về Tổng cục Đường bộ Việt Nam.

Loss: CachedMultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "mini_batch_size": 64, 5 "gather_across_devices": true, 6 "directions": [ 7 "query_to_doc" 8 ], 9 "partition_mode": "joint", 10 "hardness_mode": null, 11 "hardness_strength": 0.0 12}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 1024
num_train_epochs: 1
learning_rate: 2e-05
warmup_steps: 0.1
bf16: True
use_liger_kernel: True
dataloader_num_workers: 8
dataloader_persistent_workers: True
remove_unused_columns: False
train_sampling_strategy: group_by_length
ddp_find_unused_parameters: False
prompts: {'query': 'Query: ', 'document': 'Document: '}
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

per_device_train_batch_size: 1024
num_train_epochs: 1
max_steps: -1
learning_rate: 2e-05
lr_scheduler_type: linear
lr_scheduler_kwargs: None
warmup_steps: 0.1
optim: adamw_torch_fused
optim_args: None
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
optim_target_modules: None
gradient_accumulation_steps: 1
average_tokens_across_devices: True
max_grad_norm: 1.0
label_smoothing_factor: 0.0
bf16: True
fp16: False
bf16_full_eval: False
fp16_full_eval: False
tf32: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
use_liger_kernel: True
liger_kernel_config: None
use_cache: False
neftune_noise_alpha: None
torch_empty_cache_steps: None
auto_find_batch_size: False
log_on_each_node: True
logging_nan_inf_filter: True
include_num_input_tokens_seen: no
log_level: passive
log_level_replica: warning
disable_tqdm: False
project: huggingface
trackio_space_id: None
trackio_bucket_id: None
trackio_static_space_id: None
per_device_eval_batch_size: 8
prediction_loss_only: True
eval_on_start: False
eval_do_concat_batches: True
eval_use_gather_object: False
eval_accumulation_steps: None
include_for_metrics: []
batch_eval_metrics: False
save_only_model: False
save_on_each_node: False
enable_jit_checkpoint: False
push_to_hub: False
hub_private_repo: None
hub_model_id: None
hub_strategy: every_save
hub_always_push: False
hub_revision: None
load_best_model_at_end: False
ignore_data_skip: False
restore_callback_states_from_checkpoint: False
full_determinism: False
seed: 42
data_seed: None
use_cpu: False
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
dataloader_drop_last: True
dataloader_num_workers: 8
dataloader_pin_memory: True
dataloader_persistent_workers: True
dataloader_prefetch_factor: None
remove_unused_columns: False
label_names: None
train_sampling_strategy: group_by_length
length_column_name: length
ddp_find_unused_parameters: False
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
ddp_static_graph: None
ddp_backend: None
ddp_timeout: 1800
fsdp: []
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
deepspeed: None
debug: []
skip_memory_metrics: True
do_predict: False
resume_from_checkpoint: None
warmup_ratio: None
local_rank: -1
prompts: {'query': 'Query: ', 'document': 'Document: '}
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss
0.0813	10	0.9237
0.1626	20	0.5573
0.2439	30	0.4310
0.3252	40	0.3840
0.4065	50	0.3756
0.4878	60	0.3692
0.5691	70	0.3603
0.6504	80	0.3549
0.7317	90	0.3549
0.8130	100	0.3490
0.8943	110	0.3521
0.9756	120	0.3506

Training Time

Training: 17.1 minutes

Framework Versions

Python: 3.12.13
Sentence Transformers: 5.4.1
Transformers: 5.6.2
PyTorch: 2.11.0+cu130
Accelerate: 1.13.0
Datasets: 2.19.1
Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

bibtex

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

	query	document
type	string	string
details	min: 43 characters mean: 117.84 characters max: 318 characters	min: 444 characters mean: 790.51 characters max: 1195 characters