This is a sentence-transformers model finetuned from GreenNode/GreenNode-Embedding-Large-VN-Mixed-V1. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: GreenNode/GreenNode-Embedding-Large-VN-Mixed-V1
Maximum Sequence Length: 8192 tokens
Output Dimensionality: 1024 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("ngocnamk3er/GreenNode-Embedding-Large-VN-Retrieval-fine-tuned-without-lotrinhhoc")
# Run inference
sentences = [
    'Em nên đọc kỹ những phần nào của đoạn văn trước khi đọc lướt?',
    'Câu hỏi: ĐỌC HIỂU: Tóm tắt (summarise)\nTrả lời: Để làm bài tìm câu best summarises:\n- Em cần đọc kỹ câu chủ đề (topic sentence) của bài, nó có thể là câu đầu hoặc câu cuối đoạn 1.\n- Tiếp đó em đọc lần lượt các câu đầu và cuối của từng đoạn trong bài, sau đó mới đọc lướt quá nội dung đoạn, em có thể ghi chú ra nội dung chung chung của đoạn đó ra nháp, hoặc lên trên đề ngay bên cạnh đoạn đó luôn.\n- Em đọc câu hỏi và các đáp án em phân vân. Xem xét cách dùng từ trong các đáp án, đáp án có mấy ý, có gói đủ ý của bài hay chưa? (Vì dạng này thường cho đáp án chỉ bao gồm một vài ý chứ không bao quát hết)\n- Phải thật tỉnh táo, nhìn cả bài văn như một tổng thể để xem mục đích chung của bài, tránh để các ý nhỏ lẻ trong bài đánh lừa.\n- Và cách cuối cùng là luyện thêm nhiều bài tập đọc hiểu để phát triển kỹ năng đọc nắm ý em nhé.',
    'Chủ đề: Danh mục nội dung\nNội dung:\nHỆ THỐNG E-LEARNING PLATFORM USER\n1. TÀI KHOẢN\n- Đăng ký tài khoản\n- Đặng nhập tài khoản\n- Quên mật khẩu\n2. MUA KHÓA HỌC\n- Thêm giỏ hàng\n- Mua khoá học lẻ\n- Mua combo khóa học\n3. KÍCH HOẠT THAM GIA KHÓA HỌC\n4. TRUY CẬP KHÓA HỌC\n5. XEM BÀI GIẢNG\n- Xem bài giảng video\n- Làm bài tập kịch bản đi kèm bài giảng\n- Học bản dịch song ngữ đi kèm bài giảng\n- Học từ vựng dạng flashcard đi kèm bài giảng\n- Sử dụng tính năng timeline chữa đề trong bài giảng\n- Xem bài giảng video livestream\n6. LÀM BÀI THI ONLINE\n- Hướng dẫn truy cập\n- Hướng dẫn cách làm bài\n- Hướng dẫn nộp bài\n- Xem kết quả sau khi nộp\n- Xem bảng xếp hạng bài thi\n7. Luyện BÀI TẬP ONLINE\n- Hướng dẫn truy cập\n- Hướng dẫn cách làm bài\n- Hướng dẫn nộp bài\n- Xem kết quả sau khi nộp\n- Xem bảng xếp hạng bài tập\n8.\tTÀI LIỆU:\n- Kho tài liệu tham khảo:\n+ Cách thức truy cập\n+ Các thức xem/ tải tài liệu\n- Tài liệu của khóa học\n+ Xem/ tải tài liệu đi kèm theo từng bài giảng/ bài tập/ bài thi\n+ Xem/ tải kho tài liệu của toàn khoá học\n9. BÌNH LUẬN\nBình luận tại khóa học.\nBình luận tại bài giảng video / livestream.\nBình luận tại bài tập/bài thi.\nBình luận tại câu hỏi.\n10. BẢO LƯU KHÓA HỌC\n- Điều kiện bảo lưu khóa học\n- Hướng dẫn kích hoạt bảo lưu\n11. DEADLINE KHÓA HỌC\n- Cách đăng ký deadline\n- Xem thống kê deadline\n- Các ghi nhận deadline\n12. THỐNG KÊ SỐ LIỆU HỌC VIÊN\n- Cách thức truy cập xem số liệu\n- Các tiêu chí thống kê',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.6568, -0.1211],
#         [ 0.6568,  1.0000, -0.1601],
#         [-0.1211, -0.1601,  1.0000]])

Evaluation

Metrics

Information Retrieval

Dataset: val_hit_at_k
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.7181
cosine_accuracy@5	0.9455
cosine_accuracy@10	0.9827
cosine_precision@1	0.7181
cosine_precision@3	0.3027
cosine_precision@5	0.1891
cosine_precision@10	0.0983
cosine_recall@1	0.7181
cosine_recall@3	0.9082
cosine_recall@5	0.9455
cosine_recall@10	0.9827
cosine_ndcg@10	0.8584
cosine_mrr@10	0.8177
cosine_map@100	0.819

Training Details

Training Dataset

Unnamed Dataset

Size: 3,008 training samples
Columns: sentence_0 and sentence_1
Approximate statistics based on the first 1000 samples:
sentence_0 sentence_1
type string string
details
min: 11 tokens
mean: 19.66 tokens
max: 44 tokens
min: 25 tokens
mean: 229.24 tokens
max: 2694 tokens

Samples:

sentence_0	sentence_1
`Có cách nào để chuyển đổi giữa các câu hỏi khác nhau trong giao diện mới không?`	TACMP - Bài thi THPT giao diện mới[object Object]1. HIỂN THỊ GIAO DIỆN HỌC SINH[object Object]1.1. Cấu trúc hiển thị[object Object]Mỗi bài đọc (cụm câu hỏi) được hiển thị trên một màn, nhấn Tiếp theo để chuyển đến bài đọc tiếp theo.[object Object]Học sinh có thể chuyển giữa các câu hỏi hoặc các bài lớn bằng thanh điều hướng.[object Object] [[img_link: [object Object]]][object Object]Nút “Quay lại” và “Tiếp theo” cho phép di chuyển qua lại giữa các câu hỏi.[object Object]Ngoài ra, học sinh có thể chọn nhanh câu hỏi từ thanh Question Palette (thanh danh sách câu hỏi hiển thị theo số thứ tự).[object Object]1.3. Chế độ hiển thị câu hỏi[object Object]HS có thể điều chỉnh chế độ hiển thị dọc - ngang bằng cách nhấn vào biểu tượng [[img_link: [object Object]]] hoặc [[img_link: [object Object]]][object Object][[img_link: [object Object]...
`Làm thế nào để biết câu nào em đã trả lời đúng hay sai?`	Chủ đề: 7. LUYỆN BÀI TẬP ONLINE[object Object]Nội dung:[object Object]7. LUYỆN BÀI TẬP ONLINE[object Object]7.1 Hướng dẫn truy cập[object Object]Em vào Avatar => truy cập vào “Khóa học của tôi” => Chọn khóa học.[object Object][[img_link: [object Object]]] [[img_link: [object Object]]][object Object]Giao diện khóa học và ký hiệu đi kèm của phần bài tập online được hiển thị trong ảnh dưới đây[object Object] [[img_link: [object Object]]][object Object]Sau khi click bài tập online em muốn làm, hệ thống sẽ hiển thị giao diện thông tin bài tập[object Object][[img_link: [object Object]]][object Object]Các trường thông tin tại màn giao diện:[object Object]Tiến độ học: Hệ thống ghi nhận phần trăm hoàn thành bài[object Object] [[img_link: [object Object]...
`Có cách nào để theo dõi số lượt xem của em một cách hiệu quả không?`	Câu hỏi: Sao em chưa xem hết video mà bị trừ 1 lượt rồi ạ?[object Object]Trả lời: Khi em xem trên 25% thời lượng video thì hệ thống sẽ tự động tính là 1 lượt xem, nên khi em tải lại trang thì hệ thống sẽ ghi nhận thành 1 lượt xem. Để tránh mất lượt xem không cần thiết trong tương lai, em giúp chị:[object Object]- Kiểm tra đường truyền mạng trước khi xem.[object Object]- Hạn chế tải lại trang hoặc thoát ra khi đang xem.[object Object]- Đợi video chạy lại bình thường trước khi thao tác.

Loss: [object Object].LoggingMultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false 5}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 4
per_device_eval_batch_size: 4
num_train_epochs: 1
fp16: True
multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 4
per_device_eval_batch_size: 4
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.0
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
eval_use_gather_object: False
prompts: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: round_robin
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	val_hit_at_k_cosine_ndcg@10
0.1330	100	-	0.8260
0.2660	200	-	0.8169
0.3989	300	-	0.8362
0.5319	400	-	0.8487
0.6649	500	0.0784	0.8478
0.7979	600	-	0.8552
0.9309	700	-	0.8569
1.0	752	-	0.8584

Framework Versions

Python: 3.10.12
Sentence Transformers: 5.2.0
Transformers: 4.44.2
PyTorch: 2.9.1+cu128
Accelerate: 1.12.0
Datasets: 4.4.1
Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

LoggingMultipleNegativesRankingLoss

bibtex

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

	sentence_0	sentence_1
type	string	string
details	min: 11 tokens mean: 19.66 tokens max: 44 tokens	min: 25 tokens mean: 229.24 tokens max: 2694 tokens