This is a sentence-transformers model finetuned from BAAI/bge-m3 on the augmentated_legal_triplets dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: BAAI/bge-m3
Maximum Sequence Length: 8192 tokens
Output Dimensionality: 1024 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- augmentated_legal_triplets

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("batmangiaicuuthegioi/bge-m3-finetune-NODUPLICATES-step1000-len256-newdata")
# Run inference
sentences = [
    'Doanh nghiệp có được cắt giảm chế độ tiền lương cho người lao động khi áp dụng mức lương tối thiểu vùng mới từ ngày 01/01/2017 không? Chào Ban biên tập Thư ký luật, tôi là Đài, đang sinh sống ở Tiền Giang, tôi có một thắc mắc rất mong nhận được câu trả lời của Ban biên tập. Ban biên tập cho tôi hỏi doanh nghiệp có được phép cắt giảm các khoản lương và hổ trợ khi áp dụng mức lương tối thiểu vùng mới không?',
    'Các khoản chế độ tiền lương, công và trỗ trợ của người lao động khi áp dụng mức lương thối thiểu vùng mới kể từ ngày 01/01/2017 được quy định tại Khoản 4 Điều 5 Nghị định 153/2016/NĐ-CP quy định mức lương tối thiểu vùng đối với người lao động làm việc theo hợp đồng lao động, theo đó: Khi thực hiện mức lương tối thiểu vùng quy định tại Nghị định này, doanh nghiệp không được xoá bỏ hoặc cắt giảm các chế độ tiền lương khi người lao động làm thêm giờ, làm việc vào ban đêm, làm việc trong điều kiện lao động nặng nhọc, độc hại, chế độ bồi dưỡng bằng hiện vật đối với các chức danh nghề nặng nhọc, độc hại và các chế độ khác theo quy định của pháp luật lao động. Các khoản phụ cấp, bổ sung khác, trợ cấp, tiền thưởng do doanh nghiệp quy định thì thực hiện theo thoả thuận trong hợp đồng lao động, thoả ước lao động tập thể hoặc trong quy chế của doanh nghiệp. Trên đây là quy định về các khoản chế độ tiền lương, công và trỗ trợ của người lao động khi áp dụng mức lương thối thiểu vùng mới kể từ ngày 01/01/2017. Để hiểu rõ hơn về điều này bạn nên tham khảo thêm tại Nghị định 153/2016/NĐ-CP quy định mức lương tối thiểu vùng đối với người lao động làm việc theo hợp đồng lao động. Trân trọng!',
    'Với vấn đề bạn thắc mắc, Ban biên tập xin cung cấp một số thông tin như sau: Hiện nay, mức lương tối thiểu chung vẫn được áp dụng theo Nghị định 47/2016/NĐ-CP: Mức lương tối thiểu chung (hay còn gọi là mức lương cơ sở áp dụng đối với cán bộ, công chức, viên chức, người hưởng lương, phụ cấp và người lao động làm việc trong các cơ quan, tổ chức, đơn vị sự nghiệp của Đảng, Nhà nước, tổ chức chính trị - xã hội) : là 1. 210. 000 đồng/tháng. Tuy nhiên, từ ngày 01/7/2017, khi Nghị định 47/2017/NĐ-CP quy định mức lương cơ sở đối với cán bộ, công chức, viên chức và lực lượng vũ trang có hiệu lực thì mức lương tối thiểu chung được áp dụng là 1. 300. 000 đồng/tháng. Ban biên tập cũng cung cấp thêm cho bạn về mức lương tối thiểu vùng theo Điều 3 Nghị định 153/2016/NĐ-CP quy định mức lương tối thiểu vùng đối với người lao động làm việc theo hợp đồng lao động. Cụ thể như sau: a) Mức 3. 750. 000 đồng/tháng, áp dụng đối với doanh nghiệp hoạt động trên địa bàn thuộc vùng I. b) Mức 3. 320. 000 đồng/tháng, áp dụng đối với doanh nghiệp hoạt động trên địa bàn thuộc vùng II. c) Mức 2. 900. 000 đồng/tháng, áp dụng đối với doanh nghiệp hoạt động trên địa bàn thuộc vùng III. d) Mức 2. 580. 000 đồng/tháng, áp dụng đối với doanh nghiệp hoạt',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

Dataset: zalo_legal
Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.9477

Training Details

Training Dataset

augmentated_legal_triplets

Dataset: augmentated_legal_triplets at e4cf34f
Size: 32,137 training samples
Columns: anchor, positive, and negative
Approximate statistics based on the first 1000 samples:
anchor positive negative
type string string string
details
min: 7 tokens
mean: 68.36 tokens
max: 1346 tokens
min: 30 tokens
mean: 224.26 tokens
max: 380 tokens
min: 35 tokens
mean: 235.4 tokens
max: 444 tokens

Samples:

anchor	positive	negative
`Cho em hỏi mức lương tối thiểu vùng ở huyện Cầu Kè tỉnh Trà Vinh là bao nhiêu?`	Theo Phụ lục Danh mục địa bàn áp dụng mức lương tối thiểu vùng từ ngày 01 tháng 01 năm 2020 ban hành kèm theo Nghị định 90/2019/NĐ-CP thì huyện Cầu Kè tỉnh Trà Vinh thuộc vùng IV. Điểm đ Khoản 1 Điều 3 Nghị định này cũng quy định mức lương tối thiểu vùng áp dụng đối với người lao động làm việc ở doanh nghiệp như sau: Mức 3. 070. 000 đồng/tháng, áp dụng đối với doanh nghiệp hoạt động trên địa bàn thuộc vùng IV. Như vậy, mức lương tối thiểu ở huyện Cầu Kè tỉnh Trà Vinh là 3. 070. 000 đồng/tháng. Trân trọng!	Tại Điều 3 Nghị định 157/2018/NĐ-CP quy định về mức lương tối thiểu vùng đối với người lao động làm việc theo hợp đồng lao động, có hiệu lực từ 01/01/2019 quy định: Mức lương tối thiểu vùng áp dụng đối với người lao động làm việc ở doanh nghiệp như sau: - Mức 4. 180. 000 đồng/tháng, áp dụng đối với doanh nghiệp hoạt động trên địa bàn thuộc vùng I; - Mức 3. 710. 000 đồng/tháng, áp dụng đối với doanh nghiệp hoạt động trên địa bàn thuộc vùng II; - Mức 3. 250. 000 đồng/tháng, áp dụng đối với doanh nghiệp hoạt động trên địa bàn thuộc vùng III; - Mức 2. 920. 000 đồng/tháng, áp dụng đối với doanh nghiệp hoạt động trên địa bàn thuộc vùng IV. Như bạn trình bày bạn hiện làm việc tại Lào Cai là thuộc vùng II. Theo đó, vùng II, gồm các địa bàn: - Các huyện còn lại thuộc thành phố Hà Nội; - Các huyện còn lại thuộc thành phố Hải Phòng; - Thành phố Hải Dương thuộc tỉnh Hải Dương; - Thành phố Hưng Yên và các huyện Mỹ Hào, Văn Lâm, Văn Giang, Yên Mỹ thuộc tỉnh Hưng Yên; - Các thành phố Vĩnh Yên, Phúc Y...
`Xin cho hỏi thu nhập của cá nhân từ hoạt động chuyển nhượng chứng khoán sẽ phải đóng thuế thu nhập cá nhân đúng không? Trường hợp phải đóng thuế thu nhập thì số thuế thu nhập phải nộp sẽ được tính như thế nào? Thời điểm xác định ra sao?`	Căn cứ pháp lý: Luật Thuế thu nhập cá nhân 2007 (sửa đổi năm 2012 và năm 2014) ; Thông tư 111/2013/TT-BTC; Thông tư 92/2015/TT-BTC. Theo quy định tại hiện hành thì thu nhập của cá nhân từ hoạt động chuyển nhượng chứng khoán phải chịu thuế thu nhập cá nhân theo quy định của pháp luật. Căn cứ tính thuế thu nhập cá nhân đối với thu nhập từ chuyển nhượng chứng khoán là giá chuyển nhượng chứng khoán từng lần và thuế suất. Số thuế thu nhập cá nhân từ hoạt động chuyển nhượng chứng khoán phải nộp được tính theo công thức sau đây: 1. Đối với thu nhập từ chuyển nhương chứng khoán Thuế TNCN phải nộp = (Giá chuyển nhượng chứng khoán từng lần) x (Thuế suất thuế TNCN) TRONG ĐÓ: (1) Giá chuyển nhượng chứng khoán được xác định như sau: - Trường hợp 1: Đối với chứng khoán của công ty đại chúng giao dịch trên Sở Giao dịch chứng khoán, giá chuyển nhượng chứng khoán là giá thực hiện tại Sở Giao dịch chứng khoán. Giá thực hiện là giá chứng khoán được xác định từ kết quả khớp lệnh hoặc giá hình thành từ các...	Theo quy định tại Khoản 10 Điều 2 Nghị định 12/2015/NĐ-CP hướng dẫn Luật sửa đổi, bổ sung một số điều của các Luật về thuế và sửa đổi, bổ sung một số điều của các Nghị định về thuế thì: Thuế suất đối với thu nhập từ chuyển nhượng chứng khoán là 0, 1% trên giá bán chứng khoán từng lần. Trên đây là nội dung quy định về thuế suất đối với thu nhập từ chuyển nhượng chứng khoán. Để hiểu rõ hơn về vấn đề này, bạn nên tham khảo thêm tại Nghị định 12/2015/NĐ-CP. Trân trọng!
`Nội dung trong Giấy khai sinh có ghi thông tin bố, mẹ đỡ đầu hay không? Ông bà đi khai sinh cho cháu phải có những giấy tờ gì?`	Nội dung trong Giấy khai sinh có ghi thông tin bố, mẹ đỡ đầu hay không? Theo Khoản 1 Điều 14 Luật Hộ tịch 2014 thì nội dung đăng ký khai sinh gồm: - Thông tin của người được đăng ký khai sinh: Họ, chữ đệm và tên; giới tính; ngày, tháng, năm sinh; nơi sinh; quê quán; dân tộc; quốc tịch; - Thông tin của cha, mẹ người được đăng ký khai sinh: Họ, chữ đệm và tên; năm sinh; dân tộc; quốc tịch; nơi cư trú; - Số định danh cá nhân của người được đăng ký khai sinh. Như vậy, trong giấy khai sinh không có thông tin của bố hay mẹ đỡ đầu. Ông bà đi khai sinh cho cháu phải có những giấy tờ gì? Tại Điều 16 Luật Hộ tịch 2014 quy định Trách nhiệm đăng ký khai sinh: - Tờ khai đăng ký khai sinh; - Giấy chứng sinh (do Bệnh viện, Cơ sở y tế nơi trẻ sinh ra cấp) ; Nếu không có giấy chứng sinh thì phải có văn bản xác nhận của người làm chứng về việc sinh. - Người đi đăng ký khai sinh xuất trình bản chính một trong các giấy tờ tuỳ thân (hộ chiếu, chứng minh nhân dân, thẻ căn cước công dân hoặc giấy tờ khác có ...	Theo Khoản 1 Điều 14 Luật Hộ tịch 2014 thì nội dung đăng ký khai sinh gồm: - Thông tin của người được đăng ký khai sinh: Họ, chữ đệm và tên; giới tính; ngày, tháng, năm sinh; nơi sinh; quê quán; dân tộc; quốc tịch; - Thông tin của cha, mẹ người được đăng ký khai sinh: Họ, chữ đệm và tên; năm sinh; dân tộc; quốc tịch; nơi cư trú; - Số định danh cá nhân của người được đăng ký khai sinh. Như vậy, trong giấy khai sinh không có thông tin người đỡ đâu. Trân trọng!

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Evaluation Dataset

augmentated_legal_triplets

Dataset: augmentated_legal_triplets at e4cf34f
Size: 6,887 evaluation samples
Columns: anchor, positive, and negative
Approximate statistics based on the first 1000 samples:
anchor positive negative
type string string string
details
min: 7 tokens
mean: 67.52 tokens
max: 1245 tokens
min: 38 tokens
mean: 226.39 tokens
max: 563 tokens
min: 2 tokens
mean: 236.54 tokens
max: 444 tokens

Samples:

anchor	positive	negative
`Mức phạt đối với hành vi không thực hiện cấp phát hàng dự trữ quốc gia được quy định như thế nào?`	Điều 44. Hành vi vi phạm quy định về cấp phát, cứu trợ hàng dự trữ quốc gia. điểm c) từ < mức phạt tiền > đến < mức phạt tiền > trong trường hợp gây thiệt hại về hàng dự trữ quốc gia có giá trị từ < mức phạt tiền > đến dưới < mức phạt tiền >. Hành vi vi phạm quy định về cấp phát, cứu trợ hàng dự trữ quốc gia. khoản 2. phạt cảnh cáo hoặc phạt tiền từ < mức phạt tiền > đến < mức phạt tiền > đối với hành vi không thực hiện các thủ tục cấp phát, cứu trợ hàng dự trữ quốc gia có giá trị dưới < mức phạt tiền > trong thời gian quy định. Hành vi vi phạm quy định về cấp phát, cứu trợ hàng dự trữ quốc gia. điểm c) từ < mức	Điều 80. Thủ tục xử phạt đối với chủ phương tiện, người điều khiển phương tiện vi phạm quy định liên quan đến giao thông đường bộ, đường sắt. khoản 1. trong trường hợp chủ phương tiện vi phạm có mặt tại nơi xảy ra vi phạm, thì người có thẩm quyền xử phạt lập biên bản vi phạm hành chính và ra quyết định xử phạt hành vi vi phạm hành chính theo các điểm, khoản tương ứng của điều 30 nghị định này. Thủ tục xử phạt đối với chủ phương tiện, người điều khiển phương tiện vi phạm quy định liên quan đến giao thông đường bộ, đường sắt. khoản 2. trong trường hợp chủ phương tiện vi phạm không có mặt tại nơi xảy ra vi phạm, thì người có thẩm quyền xử phạt căn cứ vào hành vi vi phạm để lập biên bản vi
Xin chào Ban biên tập Thư Ký Luật. Em đang có ý định xin vào làm việc tại một công ty môi giới chứng khoán và yêu cầu phải có chứng chỉ hành nghề. Tuy nhiên, em được biết có một vài truờng hợp được miễn chứng chỉ chuyên môn về chứng khoán. Vậy Ban biên tập xin cho em hỏi các trường hợp nào được miễn chứng chỉ chuyên môn về chứng khoán? Và văn bản pháp luật nào quy định về điều này?	Hiện nay, các trường hợp được miễn chứng chỉ chuyên môn về chứng khoán đã được quy định tại Khoản 4 Điều 21 Nghị định 86/2016/NĐ-CP. Theo đó, các trường hợp được miễn chứng chỉ chuyên môn về chứng khoán bao gồm: a) Cá nhân có chứng chỉ quốc tế CIIA (Certified International Investment Analyst) hoặc giấy xác nhận đã đạt kỳ thi quốc tế CFA bậc II (Chartered Financial Analyst level II) trở lên được miễn chứng chỉ những vấn đề cơ bản về chứng khoán và thị trường chứng khoán, chứng chỉ phân tích và đầu tư chứng khoán, chứng chỉ phân tích báo cáo tài chính doanh nghiệp; b) Cá nhân có chứng chỉ quốc tế ACCA (Association of Chartered Certified Accountants) , CPA (Certified Public Accountants) hoặc chứng chỉ kiểm toán viên, chứng chỉ hành nghề kế toán do Bộ Tài chính cấp hoặc giấy xác nhận đã đạt kỳ thi quốc tế CFA bậc I (Chartered Financial Analyst level I) , CIIA bậc I (Certified International Investment Analyst level I) được miễn chứng chỉ những vấn đề cơ bản về chứng khoán và thị trường chứn...	Hành nghề chứng khoán dựa trên nguyên tắc nào? Trong lĩnh vực chứng khoán và những quy định hiện hành xin hỏi người được cấp chứng chỉ hành nghề chứng khoán phải hành nghề đảm bảo theo nguyên tắc nào? Trả lời: Căn cứ Khoản 2 Điều 216 Nghị định 155/2020/NĐ-CP quy định như sau: - Nguyên tắc hành nghề chứng khoán: + Người có chứng chỉ hành nghề môi giới chứng khoán được thực hiện nghiệp vụ môi giới chứng khoán, tư vấn đầu tư chứng khoán; + Người có chứng chỉ hành nghề phân tích tài chính được thực hiện nghiệp vụ môi giới chứng khoán, tư vấn đầu tư chứng khoán, tự doanh chứng khoán, bảo lãnh phát hành chứng khoán; + Người có chứng chỉ hành nghề quản lý quỹ được thực hiện nghiệp vụ môi giới chứng khoán, tư vấn đầu tư chứng khoán, tự doanh chứng khoán, bảo lãnh phát hành chứng khoán, quản lý danh mục đầu tư chứng khoán, quản lý quỹ đầu tư chứng khoán; + Chứng chỉ hành nghề chứng khoán chỉ có giá trị sử dụng khi người được cấp chứng chỉ làm việc tại một công ty chứng khoán, công ty quản lý qu...
`Tôi cùng mẹ và em trai sống chung 01 nhà, cha tôi đã mất từ lâu. Em trai tôi có điều kiện kinh tế khá giả hơn tôi rất nhiều. Em có để mẹ đứng tên 02 căn nhà trên phố. Đồng thời em trai tôi muốn tôi đi ra văn phòng công chứng nhằm công chứng văn bản từ chối nhận di sản thừa kế của mẹ gồm 02 căn nhà mà em để mẹ đứng tên. Xin hỏi, tôi có thể thực hiện yêu cầu của em không?`	Căn cứ Điều 59 Luật công chứng 2014 về công chứng văn bản từ chối nhận di sản thừa kế như sau: - Người thừa kế có thể yêu cầu công chứng văn bản từ chối nhận di sản. Khi yêu cầu công chứng văn bản từ chối nhận di sản, người yêu cầu công chứng phải xuất trình bản sao di chúc trong trường hợp thừa kế theo di chúc hoặc giấy tờ chứng minh quan hệ giữa người để lại di sản và người yêu cầu công chứng theo pháp luật về thừa kế; giấy chứng tử hoặc giấy tờ khác chứng minh người để lại di sản đã chết. Đồng thời căn cứ Điều 614 Bộ luật dân sự 2015 về thời điểm phát sinh quyền và nghĩa vụ của người nhận thừa kế như sau: - Kể từ thời điểm mở thừa kế, những người thừa kế có các quyền, nghĩa vụ tài sản do người chết để lại. Thời điểm mở thừa kế được định nghĩa tại Điều 611 Bộ luật dân sự 2015 như sau: - Thời điểm mở thừa kế là thời điểm người có tài sản chết. Trường hợp Toà án tuyên bố một người là đã chết thì thời điểm mở thừa kế là ngày được xác định tại khoản 2 Điều 71 của Bộ luật này. Như vậy, kh...	Theo Khoản 1 Điều 644 Bộ luật Dân sự 2015 quy định về người thừa kế không phụ thuộc vào nội dung của di chúc, đó là: con chưa thành niên, cha, mẹ, vợ, chồng; con đã thành niên mà không có khả năng lao động thì vẫn được hưởng phần di sản bằng hai phần ba suất của một người thừa kế theo pháp luật, nếu di sản được chia theo pháp luật, trong trường hợp họ không được người lập di chúc cho hưởng di sản hoặc chỉ cho hưởng phần di sản ít hơn hai phần ba suất đó. Tuy nhiên, quyền hưởng thừa kế không phụ thuộc vào nội dung của di chúc không áp dụng đối với người từ chối nhận di sản hoặc với những người không có quyền hưởng di sản được quy định tại Điều 621 Bộ luật dân sự 2015: Những người sau đây không được quyền hưởng di sản: a) Người bị kết án về hành vi cố ý xâm phạm tính mạng, sức khoẻ hoặc về hành vi ngược đãi nghiêm trọng, hành hạ người để lại di sản, xâm phạm nghiêm trọng danh dự, nhân phẩm của người đó; b) Người vi phạm nghiêm trọng nghĩa vụ nuôi dưỡng người để lại di sản; c) Người bị kế...

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 1
per_device_eval_batch_size: 1
learning_rate: 2e-05
num_train_epochs: 1
max_steps: 1000
warmup_ratio: 0.1
fp16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 1
per_device_eval_batch_size: 1
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1
max_steps: 1000
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	Validation Loss	zalo_legal_cosine_accuracy
-1	-1	-	-	0.9373
0.0031	100	0.1777	-	-
0.0062	200	0.209	-	-
0.0093	300	0.1183	-	-
0.0124	400	0.157	-	-
0.0156	500	0.1512	-	-
0.0187	600	0.162	-	-
0.0218	700	0.2468	-	-
0.0249	800	0.1557	-	-
0.0280	900	0.2144	-	-
0.0311	1000	0.2532	0.1492	0.9477

Framework Versions

Python: 3.10.12
Sentence Transformers: 4.1.0
Transformers: 4.52.3
PyTorch: 2.6.0+cu124
Accelerate: 1.7.0
Datasets: 3.6.0
Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

bibtex

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

	anchor	positive	negative
type	string	string	string
details	min: 7 tokens mean: 68.36 tokens max: 1346 tokens	min: 30 tokens mean: 224.26 tokens max: 380 tokens	min: 35 tokens mean: 235.4 tokens max: 444 tokens