This is a sentence-transformers model finetuned from Snowflake/snowflake-arctic-embed-m-v2.0 on the csv dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: Snowflake/snowflake-arctic-embed-m-v2.0
Maximum Sequence Length: 8192 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- csv

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: GteModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("minhtuan7akp/snowflake-m-v2.0-vietnamese_matryoshka-finetune")
# Run inference
sentences = [
    'Gia Cát Lượng đã giúp ai trong việc quản lý nước Thục?',
    'phải trông coi mọi việc, giúp Thành Vương đến lúc trưởng thành. \r\n4\r\n Hoắc Quang giữ chức Đại tư mã tướng quân, phò Hán Chiêu Đế lúc lên ngôi mới 9 tuổi. \r\n5\r\n Gia Cát Lượng tức Khổng Minh, là thừa tướng của Chiêu Đế Lưu Bị nước Thục đời Tam Quốc. Lưu Bị chết, con là Lưu Thiện nối \r\nngôi, tức Thục Hậu chúa, mọi việc nước, việc quân đều phải trông cậy vào Gia Cát Lượng. \r\n6\r\n Tô Hiến Thành là Thái úy triều Lý Cao Tông, nhận di mệnh Cao Tông phò vua nhỏ là Long Cán lên nối ngôi mới 3 tuổi. \r\n7\r\n Tứ phụ: nghĩa là bốn viên đại thần giúp vua khi mới lên ngôi. \r\n8\r\n Chỉ Thuận Tông. \r\n9\r\n Xích chủy: nghĩa là mõm đỏ, miệng đỏ, hay đỏ mỏ. Xích chủy hầu là loài đỏ mỏ ám chỉ Lê Quý Ly. \r\n10 Bạch kê: nghĩa là gà trắng. Nghệ Tông sinh năm Tân Dậu, tức năm gà. Tân thuộc hành kim, loài kim sắc trắng. Vì thế "bạch kê" \r\nám chỉ Nghệ Tông. \r\n11 Chữ vương? ở trong lòng chữ khẩu? là chữ "quốc"?. \r\n12 Theo tục nhà Trần, hằng năm vào ngày mồng 4 tháng 4, vua hội họp bề tôi làm lễ tuyên thệ ở đền Đồng Cổ. (Xem bản kỷ, quyển \r\n5, Kiến Trung năm thứ 3, 1277). \r\n13 Chỉ Quý Ly. \r\n288 Đại Việt Sử Ký Toàn Thư - Bản Kỷ - Quyển VIII \r\nQuý Ly bỏ mũ, rập đầu khóc lóc từ tạ, chỉ trời vạch đất thề rằng: \r\n"Nếu thần không biết dốc lòng trung, hết sức giúp Quan gia để truyền đến con cháu về sau thì \r\ntrời sẽ ghét bỏ thần". \r\nQuý Ly lại nói: "Lúc Linh Đức Vương làm điều thất đức, nếu không nhờ oai linh bệ hạ thì thần đã',
    'Tây. Ngoài cơ sờ đúc súng cũ của tiên triều, năm 1825 vua Minh \r\nMệnh mờ thêm sáu xưởng nữa. vốn cần cù và ham học hỏi sáng \r\ntạo, những người thợ quân giới đã được "thứ súng tay nạp thuốc nổ \r\nmạnh theo kiểu Tây dương". Vào những năm cuối triều Minh \r\nM ệnh, họ đã đúc 15 cỗ đại pháo X ung tiêu băng đồng và hai cỗ \r\nsúng lớn Chấn hải, loại đại pháo lợi hại trong thủy chiến phương \r\nTây. Sau đó, lại xuất xưởng tiếp 30 cỗ Chấn hải. Năm 1829, quản \r\nkho Hải Dương là Tôn Thất Thiện cùng với 100 lính Chấn cơ chế \r\nra cối gỗ chạy bàng sức nước ở khe suối để giã, luyện thuốc súng. \r\nDụng cụ này là xe "Thủy hỏa ký tế", và những năm sau được phổ \r\ncập trong quân ngũ. Từ vũ khí phương Tây, người Đại Nam đã tự \r\ntìm hiểu từng chi tiết để chế tạo thước đo ngắm bắn, thước kiểm tra \r\nthuốc súng. Trong bảy năm ờ ngôi, vua Thiệu Trị đúc 9 cỗ súng \r\nbàng đồng hiệu là "Thần uy phục viễn đại tướng quân", cỗ to nhất \r\nlà 10.706 cân, cỗ nhỏ nhất là 10.222 cân, tổng cộng là 93.829 cân.\r\n649\r\nLỊCH SỬ VIỆT NAM - TẬP 5\r\nVà ba cỗ súng hiệu "Bảo Đại định công an dân hòa chúng thượng \r\ntướng quân", mỗi cỗ trên 14.500 cân, tổng cộng là 43.620 cân1.\r\nĐe tạo điều kiện cho quân thủy học tập, bộ Công cấp cho họ la \r\nbàn, thước đo nước, đồng hồ cát xem giờ của phương Tây. v ề khoa \r\nmục bắn súng thì lính thủy phải tập bắn súng điểu sang và đại bác. \r\nMinh Mệnh yêu cầu Hiệp biện Đại học sĩ lãnh Thượng thư bộ Binh \r\nTrương Đăng Quế đọc kỹ các sách và bản đồ thủy chiến "Tây',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Datasets: snowflake_m_v2.0_768, snowflake_m_v2.0_512, snowflake_m_v2.0_256, snowflake_m_v2.0_128 and snowflake_m_v2.0_64
Evaluated with InformationRetrievalEvaluator

Metric	snowflake_m_v2.0_768	snowflake_m_v2.0_512	snowflake_m_v2.0_256	snowflake_m_v2.0_128	snowflake_m_v2.0_64
cosine_accuracy@1	0.4114	0.4037	0.4014	0.347	0.2927
cosine_accuracy@3	0.6219	0.6205	0.6096	0.5626	0.4804
cosine_accuracy@5	0.6909	0.6904	0.6813	0.6311	0.5406
cosine_accuracy@10	0.7703	0.7598	0.7562	0.7169	0.632
cosine_precision@1	0.4114	0.4037	0.4014	0.347	0.2927
cosine_precision@3	0.2073	0.2068	0.2032	0.1875	0.1601
cosine_precision@5	0.1382	0.1381	0.1363	0.1262	0.1081
cosine_precision@10	0.077	0.076	0.0756	0.0717	0.0632
cosine_recall@1	0.4114	0.4037	0.4014	0.347	0.2927
cosine_recall@3	0.6219	0.6205	0.6096	0.5626	0.4804
cosine_recall@5	0.6909	0.6904	0.6813	0.6311	0.5406
cosine_recall@10	0.7703	0.7598	0.7562	0.7169	0.632
cosine_ndcg@10	0.5909	0.5839	0.5794	0.5313	0.4574
cosine_mrr@10	0.5336	0.5274	0.5228	0.4721	0.4022
cosine_map@100	0.5403	0.5345	0.5299	0.4796	0.4108

Training Details

Training Dataset

csv

Dataset: csv
Size: 21,892 training samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 9 tokens
mean: 26.95 tokens
max: 103 tokens
min: 25 tokens
mean: 373.94 tokens
max: 596 tokens

Samples:

anchor	positive
`Tính chất kiến trúc của đình làng triều Mạc được thể hiện qua những đặc điểm gì, như số gian, hình dạng, nội thất và cách bố trí không gian trong công trình?`	`Đình làng là công trình kiến trúc công cộng được dựng nên`
băng sự đóng góp của cải và công sức của cả cộng đồng làng xã.
Ngoài chức năng là trụ sở hành chính của cả làng, ngôi đình còn là
trung tâm sinh hoạt văn hóa làng xã, là nơi diễn ra các nghi lễ trọng
đại trong dịp tế lễ thần Thành hoàng làng và tô chức hội hè hăng
năm. Có thê nói, ngôi đình làng là nơi hội tụ sức mạnh của cả cộng
đồng và là biểu trưng đặc sắc nhất của văn hóa làng xã.

Trong các ngôi đình triều Mạc, Thân thành hoàng có lý lịch
xuất thân khá phong phú. Tản Viên sơn thánh là vị thần có ảnh
hưởng lớn ở xứ Đoài được thờ phụng ở đình Tây Đăng, Thanh Lũng
và nhiều làng xã khác. Thần Cao Sơn, Quý Minh tương truyền là
tướng tâm phúc của Hùng Vương được thờ ở đình làng Lỗ Hạnh.
Dân làng Lỗ Hạnh còn thờ cả Phương Dung công chúa... Từ thế
kỷ XYVI và các thế kỷ tiếp sau, Thần thành hoàng làng trở thành
vị vua tỉnh thần ở các làng xã, tín ngưỡng thờ cúng Thân thành
hoàng càng trở nên phong phú thê hiện qua lễ... | |

Nguyễn Khắc Nhu có vai trò gì trong khởi nghĩa toàn khu vực miền núi Bắc Kỳ của Việt Nam Quốc dân Đảng vào năm 1930?

bị nổ do bất cẩn. Do đó công việc bị phát hiện. Hai người phụ trách 
[object Object]cơ quan chế bom là Đỗ Cương và Quản Trác trốn thoát. Nhiều binh 
[object Object]lính và dân thường bị bắt. Công việc bạo động của Xứ Nhu không 
[object Object]thành. Đúng lúc này Việt Nam Quốc dân Đảng vừa thành lập, cử 
[object Object]người tới mời Xứ Nhu và Việt Nam Dân quốc gia nhập Việt Nam 
[object Object]Quốc dân Đảng. Hầu hết các đồng chí của Xứ Nhu trở thành đảng 
[object Object]viên của Việt Nam Quốc dân Đảng ở vùng Bắc Ninh, Bắc Giang. 
[object Object]Do đó, Việt Nam Quốc dân Đảng mạnh lên về số lượng1. Cùng với 
[object Object]việc phát triển đảng viên ở Bẳc Ninh, Bắc Giang, Việt Nam Quốc 
[object Object]dân Đảng còn thiết lập nhiều cơ sở ở các tỉnh Thái Bình, Hải Dương,
[object Object]1. Nguyễn Khắc Nhu tức Xứ Nhu (1882-1930), người làng Song Khê, huyện
[object Object]Yên Dũng, tinh Bắc Giang. Với lòng yêu nuớc và ý chí chống Pháp,
[object Object]ông dự tính thành lập một tổ chức hoạt động công khai nhăm đào tạo 
[object Object]tài năng cho đất nước lấy tên là "Hội Quốc dân dục tài”. Việc này 
[object Object]không thành công, ông lại lập tổ chức bí mật nhăm bạo động lật đổ ách 
[object Object]áp b...

| |

Giá gạo tháng 3-1950 ở Liên khu IV là bao nhiêu đồng/tạ và có chênh lệch gì so với giá gạo ở Liên khu III và Liên khu Việt Bắc?

ngày càng tăng nhanh, nhất là ở Việt Bắc. Giá gạo tăng mạnh 
[object Object]nhất, giá thực phẩm cũng tăng dần theo giá gạo. Giá các mặt hàng 
[object Object]kỹ nghệ tăng chậm hơn. Giá hàng ngoại hóa hầu như không tăng 
[object Object]vỉ trong vùng Pháp chiếm đóng, hàng ngoại hóa tính bằng tiền 
[object Object]Đông Dương không tăng, hom nữa nhân dân cũng ít tiêu thụ hàng 
[object Object]ngoại hóa vì bị cấm.
[object Object]1. Viện Kinh tế học, Kinh tế Việt Nam từ Cách mạng Tháng Tám đến..., Sách
[object Object]đã dẫn, tr. 238.
[object Object]2. Chuơng trình và báo cáo của Bộ Kinh tế về tình hình hoạt động năm 1950.
[object Object]Trung tâm lưu trữ quốc gia in, phông Phủ Thủ tướng, Hồ sơ số 1914.
[object Object]488
[object Object]Chương VI. Việt Nam dân chủ cộng hòa xây dựng..
[object Object]Giá gạo trong những tháng đầu năm 1950 so với cuối năm 1949 
[object Object]có thay đổi, Liên khu IV (Thanh Hóa) giá tăng lên 154%; Liên khu 
[object Object]III (Hà Đông - Hà Nam) giá tăng lên 153%; Liên khu Việt Bắc 
[object Object](Thái Nguyên) giá tăng lên 800%.
[object Object]Giá gạo ở Thái Nguyên từ 1.625 đồng/tạ lên 13.000 đồng/tạ 
[object Object](tăng 800%); ờ Phú Thọ từ 2.650 đồng/tạ lên 7.500 đồng/tạ (tăng 
[object Object]283%). Mặt khác, ...

Loss: MatryoshkaLoss with these parameters:
json
1{ 2 "loss": "MultipleNegativesRankingLoss", 3 "matryoshka_dims": [ 4 768, 5 512, 6 256, 7 128, 8 64 9 ], 10 "matryoshka_weights": [ 11 1, 12 1, 13 1, 14 1, 15 1 16 ], 17 "n_dims_per_step": -1 18}

Evaluation Dataset

csv

Dataset: csv
Size: 21,892 evaluation samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 10 tokens
mean: 26.56 tokens
max: 108 tokens
min: 24 tokens
mean: 369.01 tokens
max: 559 tokens

Samples:

anchor	positive
`Nguyễn Hoàng đã thực hiện những hành động gì để dần dần tách khỏi sự ràng buộc của họ Trịnh sau khi trở lại Thuận Quảng vào năm 1600, và những hành động này đã ảnh hưởng như thế nào đến mối quan hệ giữa hai dòng họ?`	`thẳng đối với họ Nguyễn. Trịnh Tùng đã lấy danh nghĩa vua Lê sai`
sứ giả là Thiêm đô ngự sử Lê Nghĩa Trạch đem sắc vào phủ dụ
Nguyễn Hoàng và vẫn cho ở lại trấn thủ, hằng năm nộp thuế như
cũ. Cùng với sắc của vua Lê, Trịnh Tùng có gửi thư kèm theo
Chương ĩ. Sự phân liệt Đàng Trong - Đàng Ngoài...
1, Toàn thư. quyển 17, tập IV, Sđd, tr. 200.
2, Đại Nam thực lục, Tiền biên, quyển 1, tập I, Sđd, tr. 34.
3, Đại Nam thực lục, Tiển biên, quyển 1, tập I, Sđd, tr. 35.
39
LỊCH SỬ VIỆT NAM - TẬP 4
"khuyên giữ việc thuế cống". Nguyễn Hoàng sai sứ giả đáp lễ tạ on
vua Lê và gửi thư cho Trịnh Tùng hẹn kết nghĩa thông gia, đem con
gái là Ngọc Tú gả cho Trịnh Tráng (con Trịnh Tùng) lấy danh
nghĩa hôn nhân để duy trì mối quan hệ bề ngoài giao hảo giữa hai
dòng họ vốn có sẵn một mối thù địch.
- Chính sách cùa họ Nguyễn từ khi Nguyễn Hoàng trở lại
Thuận Quảng
Năm 1600, Nguyễn Hoàng ròi được khỏi đất Bẳc trở về Thuận
Quảng bắt đầu thực hiện một chính sách cai trị mói, dần dần tác...
`Báo cáo của Ủy ban Kháng chiến hành chính Hà Nội về hoạt động giáo dục bù nhìn và tình hình các giáo sư trường Chu Văn An có nội dung gì?`	`Tài liệu tham khảo`
21. Báo cáo sô' 2 BC/I ngày 12-11-1949 và Báo cáo sô' 463
BC/DB ngày 25-12-1949 của Ty Công an H à Nội. Trung
tâm Lưu trữ Quốc gia III, phông Phủ Thủ tướng, Hồ sơ
SỐ921.
28. Báo “Le song” ngày 11-2-1949. Trung tâm Lưu trữ Quốc
gia III, phông Phủ Thủ tướng, Hồ sơ sô' 2002.
29. Báo cáo của u ỷ ban Kháng chiến hành chính Hà Nội vê
hoạt động giáo dục bù nhìn và tình hình các giáo sư
trường Chu Văn An. Trung tâm Lưu trữ Quốc gia III,
phông Phủ Thủ tướng, Hồ sơ số 979.
30. Báo cáo của Tổng Giám đốc Việt N am Công an vụ sô'
122/NCB3 ngày 1-4-1951. Trung tâm Lưu trữ Quốic gia
III, phông Phủ Thủ tướng, Hồ sơ sô' 979.
31. Báo cáo thành tích về cống tác công an trong 8 năm kháng
chiến (1946-1954) của Bộ Công an. Trung tâm Lưu trữ
Quốc gia III, phông Phủ Thủ tướng, Hồ sơ sô' 927.
32. Báo cáo một năm kháng chiến (12-1946 đến 12-1947) của
UBKCHC Khu 12. Trung tâm Lưu trữ Quốc gia III, phông
Phủ Thủ tướng, Hồ sơ sô" 2000.
33. Báo cáo thành tích quăn sự trong 8 n...
`Đặc điểm dân số của nước ta ảnh hưởng đến các ngành dịch vụ như thế nào và đòi hỏi những ngành dịch vụ nào cần được ưu tiên phát triển trong quá trình đô thị hóa?`	`— Trong các thành phố lớn thường hình thành các trung tâm giao dịch,`
thương mại. Đó là nơi tập trung các ngân hàng, các văn phòng đại diện
của các công ti, các siêu thị hay các tổ hợp thương mại, dịch vụ lớn...
Ở các thành phố lớn trên thế giới, thường dễ nhận thấy các trung tâm
thương mại này do sự tập trung các ngôi nhà cao tầng, chọc trời. Một
thành phố có thể có trung tâm thương mại chính và một số trung tâm
thương mại nhỏ hơn, kết quả của sự phát triển đô thị.

— Ở nước ta, các thành phố, thị xã thường có khu hành chính (phân
“đô”) và khu buôn bán, dịch vụ (phân “thị'). Ở Hà Nội, Thành phố
Hồ Chí Minh các trung tâm giao dịch, thương mại của thành phố đang
được hình thành rõ nét.

CÂU HỎI VÀ BÀI TẬP

174

1. Cho biết đặc điểm dân số của nước ta (đông, tăng còn tương đối
nhanh, mức sống đang nâng lên và đô thị hoá đang phát triển với
tốc độ nhanh hơn) có ảnh hưởng đến các ngành dịch vụ như thế
nào ? Các đặc điểm đó đòi hỏi những ngành dịch vụ nào cần được
ưu tiê... |

Loss: MatryoshkaLoss with these parameters:
json
1{ 2 "loss": "MultipleNegativesRankingLoss", 3 "matryoshka_dims": [ 4 768, 5 512, 6 256, 7 128, 8 64 9 ], 10 "matryoshka_weights": [ 11 1, 12 1, 13 1, 14 1, 15 1 16 ], 17 "n_dims_per_step": -1 18}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 6
per_device_eval_batch_size: 6
learning_rate: 3e-06
num_train_epochs: 2
warmup_ratio: 0.05
bf16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 6
per_device_eval_batch_size: 6
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 3e-06
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 2
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.05
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	Validation Loss	snowflake_m_v2.0_768_cosine_ndcg@10	snowflake_m_v2.0_512_cosine_ndcg@10	snowflake_m_v2.0_256_cosine_ndcg@10	snowflake_m_v2.0_128_cosine_ndcg@10	snowflake_m_v2.0_64_cosine_ndcg@10
0.0305	100	1.7876	1.1904	0.4785	0.4705	0.4505	0.3318	0.2179
0.0609	200	1.3408	0.8115	0.5106	0.4999	0.4862	0.3923	0.2731
0.0914	300	0.8536	0.6208	0.5323	0.5265	0.5109	0.4285	0.3178
0.1218	400	0.6425	0.5241	0.5477	0.5366	0.5248	0.4483	0.3441
0.1523	500	0.5621	0.4878	0.5542	0.5406	0.5354	0.4625	0.3625
0.1827	600	0.5521	0.4712	0.5566	0.5471	0.5392	0.4715	0.3735
0.2132	700	0.5387	0.4529	0.5623	0.5534	0.5438	0.4803	0.3856
0.2436	800	0.5439	0.4324	0.5619	0.5526	0.5473	0.4807	0.3895
0.2741	900	0.3761	0.4220	0.5627	0.5553	0.5499	0.4829	0.3912
0.3045	1000	0.4978	0.4020	0.5696	0.5591	0.5527	0.4872	0.3990
0.3350	1100	0.5307	0.3927	0.5723	0.5620	0.5589	0.4948	0.4042
0.3654	1200	0.4942	0.3823	0.5740	0.5650	0.5630	0.5001	0.4116
0.3959	1300	0.3628	0.3754	0.5724	0.5644	0.5613	0.4992	0.4131
0.4263	1400	0.3592	0.3584	0.5776	0.5699	0.5624	0.5065	0.4181
0.4568	1500	0.3938	0.3521	0.5755	0.5696	0.5627	0.5081	0.4250
0.4872	1600	0.4694	0.3486	0.5762	0.5705	0.5630	0.5076	0.4238
0.5177	1700	0.4115	0.3561	0.5727	0.5673	0.5616	0.5064	0.4265
0.5481	1800	0.4144	0.3371	0.5768	0.5723	0.5649	0.5078	0.4256
0.5786	1900	0.3783	0.3334	0.5758	0.5703	0.5638	0.5082	0.4264
0.6090	2000	0.3374	0.3302	0.5790	0.5710	0.5661	0.5099	0.4276
0.6395	2100	0.41	0.3168	0.5817	0.5769	0.5694	0.5164	0.4280
0.6699	2200	0.4752	0.3138	0.5826	0.5779	0.5703	0.5156	0.4318
0.7004	2300	0.2697	0.3130	0.5837	0.5786	0.5712	0.5178	0.4350
0.7308	2400	0.4127	0.3075	0.5826	0.5768	0.5700	0.5153	0.4308
0.7613	2500	0.3481	0.3083	0.5842	0.5787	0.5719	0.5182	0.4345
0.7917	2600	0.329	0.2987	0.5871	0.5828	0.5761	0.5224	0.4350
0.8222	2700	0.4066	0.2929	0.5854	0.5796	0.5739	0.5187	0.4366
0.8526	2800	0.3523	0.2912	0.5872	0.5791	0.5737	0.5164	0.4403
0.8831	2900	0.2931	0.2938	0.5849	0.5773	0.5730	0.5193	0.4401
0.9135	3000	0.3608	0.2868	0.5841	0.5769	0.5746	0.5198	0.4405
0.9440	3100	0.4988	0.2825	0.5857	0.5790	0.5769	0.5239	0.4436
0.9744	3200	0.379	0.2772	0.5893	0.5809	0.5780	0.5240	0.4434
1.0049	3300	0.2685	0.2730	0.5891	0.5794	0.5784	0.5257	0.4438
1.0353	3400	0.3269	0.2679	0.5906	0.5820	0.5794	0.5268	0.4443
1.0658	3500	0.2561	0.2672	0.5907	0.5828	0.5789	0.5286	0.4470
1.0962	3600	0.2696	0.2663	0.5930	0.5840	0.5799	0.5270	0.4464
1.1267	3700	0.2973	0.2674	0.5910	0.5829	0.5775	0.5281	0.4475
1.1571	3800	0.2717	0.2675	0.5884	0.5802	0.5769	0.5276	0.4493
1.1876	3900	0.2932	0.2615	0.5894	0.5812	0.5791	0.5285	0.4527
1.2180	4000	0.3191	0.2597	0.5902	0.5831	0.5771	0.5280	0.4521
1.2485	4100	0.2936	0.2583	0.5903	0.5831	0.5792	0.5280	0.4517
1.2789	4200	0.2266	0.2609	0.5879	0.5814	0.5764	0.5276	0.4547
1.3094	4300	0.2712	0.2606	0.5895	0.5818	0.5784	0.5269	0.4546
1.3398	4400	0.3014	0.2609	0.5898	0.5815	0.5772	0.5278	0.4551
1.3703	4500	0.2104	0.2607	0.5892	0.5815	0.5771	0.5268	0.4548
1.4007	4600	0.4204	0.2614	0.5881	0.5812	0.5757	0.5270	0.4551
1.4312	4700	0.2502	0.2614	0.5894	0.5801	0.5773	0.5288	0.4551
1.4616	4800	0.171	0.2605	0.5892	0.5805	0.5777	0.5306	0.4582
1.4921	4900	0.2284	0.2625	0.5881	0.5816	0.5771	0.5297	0.4574
1.5225	5000	0.2021	0.2597	0.5897	0.5814	0.5785	0.5294	0.4572
1.5530	5100	0.3218	0.2596	0.5900	0.5826	0.5783	0.5301	0.4575
1.5834	5200	0.2402	0.2586	0.5894	0.5821	0.5788	0.5290	0.4581
1.6139	5300	0.3036	0.2562	0.5910	0.5825	0.5780	0.5311	0.4576
1.6443	5400	0.2906	0.2558	0.5903	0.5822	0.5795	0.5301	0.4578
1.6748	5500	0.2319	0.2553	0.5901	0.5829	0.5785	0.5311	0.4583
1.7052	5600	0.2315	0.2544	0.5896	0.5821	0.5775	0.5313	0.4581
1.7357	5700	0.2448	0.2541	0.5897	0.5831	0.5783	0.5310	0.4573
1.7661	5800	0.1683	0.2533	0.5906	0.5840	0.5785	0.5307	0.4576
1.7966	5900	0.2424	0.2536	0.5913	0.5841	0.5783	0.5312	0.4585
1.8270	6000	0.2169	0.2539	0.5905	0.5832	0.5787	0.5305	0.4574
1.8575	6100	0.2504	0.2541	0.5918	0.5830	0.5780	0.5306	0.4575
1.8879	6200	0.1923	0.2540	0.5908	0.5841	0.5781	0.5309	0.4585
1.9184	6300	0.2375	0.2533	0.5904	0.5839	0.5790	0.5306	0.4581
1.9488	6400	0.2248	0.2529	0.5904	0.5844	0.5777	0.5316	0.4577
1.9793	6500	0.1819	0.2532	0.5909	0.5839	0.5794	0.5313	0.4574

Framework Versions

Python: 3.11.11
Sentence Transformers: 3.4.1
Transformers: 4.49.0
PyTorch: 2.5.1
Accelerate: 1.2.1
Datasets: 3.2.0
Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

bibtex

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

bibtex

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

	anchor	positive
type	string	string
details	min: 9 tokens mean: 26.95 tokens max: 103 tokens	min: 25 tokens mean: 373.94 tokens max: 596 tokens