This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: BAAI/bge-m3
Maximum Sequence Length: 192 tokens
Output Dimensionality: 1024 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 192, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Represent this sentence for searching relevant documents: Người cao tuổi về ở với cháu ruột có thể dùng Thẻ bảo hiểm y tế để làm giấy tờ đăng ký thường trú không?',
    'Represent this document for retrieval: Nghị định Quy định chi tiết một số điều luật cư trú Chương II Điều 6. Giấy tờ, tài liệu chứng minh quan hệ nhân thân\nNghị định 62/2021/NĐ-CP\n1. Giấy tờ, tài liệu chứng minh quan hệ nhân thân thuộc trường hợp quy định tại điểm a khoản 2 Điều 20 Luật Cư trú, bao gồm: a) Giấy tờ, tài liệu để chứng minh quan hệ vợ, chồng: Giấy chứng nhận kết hôn; giấy xác nhận tình trạng hôn nhân; xác nhận của Ủy ban nhân dân cấp xã hoặc Ủy ban nhân dân cấp huyện nơi không có đơn vị hành chính cấp xã nơi cư trú; b) Giấy tờ, tài liệu để chứng minh quan hệ cha, mẹ, con: Giấy khai sinh; chứng nhận hoặc quyết định việc nuôi con nuôi; quyết định việc nhận cha, mẹ, con; xác nhận của Ủy ban nhân dân cấp xã hoặc Ủy ban nhân dân cấp huyện nơi không có đơn vị hành chính cấp xã nơi cư trú; Hộ chiếu còn thời hạn sử dụng có chứa thông tin thể hiện quan hệ nhân thân cha hoặc mẹ với con; quyết định của Tòa án, trích lục hộ tịch hoặc văn bản của cơ quan y tế, cơ quan giám định, cơ quan khác có thẩm quyền xác nhận về quan hệ cha, mẹ với con. 2. Giấy tờ, tài liệu chứng minh quan hệ nhân thân thuộc trường hợp quy định tại điểm b, điểm c khoản 2 Điều 20 Luật Cư trú, bao gồm: a) Giấy tờ, tài liệu để chứng minh mối quan hệ anh, chị, em ruột, cháu ruột: Giấy khai sinh, xác nhận của Ủy ban nhân dân cấp xã hoặc Ủy ban nhân dân cấp huyện nơi không có đơn vị hành chính cấp xã nơi cư trú; b) Giấy tờ, tài liệu chứng minh mối quan hệ cụ nội, cụ ngoại, ông nội, bà nội, ông ngoại, bà ngoại, anh, chị, em ruột, cô, dì, chú, bác, cậu ruột, người giám hộ: Quyết định cử người giám hộ; xác nhận của Ủy ban nhân dân cấp xã hoặc Ủy ban nhân dân cấp huyện nơi không có đơn vị hành chính cấp xã tại nơi cư trú về mối quan hệ nhân thân; c) Giấy tờ, tài liệu chứng minh không còn cha, mẹ: Giấy chứng tử của cha, mẹ hoặc quyết định của Tòa án tuyên bố cha, mẹ mất tích, chết, xác nhận của Ủy ban nhân dân cấp xã hoặc Ủy ban nhân dân cấp huyện nơi không có đơn vị hành chính cấp xã tại nơi cư trú về việc cha, mẹ đã chết; d) Giấy tờ chứng minh người cao tuổi: Giấy khai sinh, thẻ Căn cước công dân hoặc Chứng minh nhân dân, Hộ chiếu; Sổ Bảo hiểm xã hội, Thẻ bảo hiểm y tế hoặc xác nhận của Ủy ban nhân dân cấp xã, Ủy ban nhân dân cấp huyện nơi không có đơn vị hành chính cấp xã tại nơi cư trú về ngày, tháng, năm sinh; đ) Giấy tờ chứng minh người khuyết tật đặc biệt nặng, người khuyết tật nặng, người không có khả năng lao động, người bị bệnh tâm thần hoặc bệnh khác làm mất khả năng nhận thức, khả năng điều khiển hành vi: Chứng nhận của cơ sở y tế từ cấp huyện trở lên hoặc xác nhận của Ủy ban nhân dân cấp xã, Ủy ban nhân dân cấp huyện nơi không có đơn vị hành chính cấp xã tại nơi cư trú; e) Giấy tờ chứng minh người chưa thành niên gồm: Giấy khai sinh, thẻ Căn cước công dân hoặc Chứng minh nhân dân, Hộ chiếu, Sổ Bảo hiểm xã hội, Thẻ bảo hiểm y tế hoặc xác nhận của Ủy ban nhân dân cấp xã, Ủy ban nhân dân cấp huyện nơi không có đơn vị hành chính cấp xã tại nơi cư trú về ngày, tháng, năm sinh. 3. Trường hợp thông tin chứng minh quan hệ nhân thân của công dân đã có trên Cơ sở dữ liệu quốc gia về dân cư hoặc cơ sở dữ liệu chuyên ngành thì cơ quan đăng ký cư trú không yêu cầu công dân phải cung cấp giấy tờ chứng minh quan hệ nhân thân.',
    'Represent this document for retrieval: Luật Sửa đổi, bổ sung một số điều của luật cư trú 2013 Điều 1. Sửa đổi, bổ sung một số điều của Luật cư trú:\nLuật 36/2013/QH13\n1. Sửa đổi, bổ sung khoản 8 Điều 8 và bổ sung khoản 10 và khoản 11 vào Điều 8 như sau: “8. Thuê, cho thuê, làm giả, sửa chữa, làm sai lệch nội dung sổ hộ khẩu, sổ tạm trú, giấy tờ khác có liên quan đến cư trú; sử dụng giấy tờ giả về cư trú; cung cấp thông tin, tài liệu sai sự thật về cư trú; giả mạo điều kiện để được đăng ký thường trú.” “10. Giải quyết cho đăng ký cư trú khi biết rõ người được cấp đăng ký cư trú không sinh sống tại chỗ ở đó. 11. Đồng ý cho người khác đăng ký cư trú vào chỗ ở của mình để vụ lợi hoặc trong thực tế người đăng ký cư trú không sinh sống tại chỗ ở đó.” 2. Điều 20 được sửa đổi, bổ sung như sau: “Điều 20. Điều kiện đăng ký thường trú tại thành phố trực thuộc trung ương Công dân thuộc một trong những trường hợp sau đây thì được đăng ký thường trú tại thành phố trực thuộc trung ương: 1. Có chỗ ở hợp pháp, trường hợp đăng ký thường trú vào huyện, thị xã thuộc thành phố trực thuộc trung ương thì phải có thời gian tạm trú tại thành phố đó từ một năm trở lên, trường hợp đăng ký thường trú vào quận thuộc thành phố trực thuộc trung ương thì phải có thời gian tạm trú tại thành phố đó từ hai năm trở lên; 2. Được người có sổ hộ khẩu đồng ý cho nhập vào sổ hộ khẩu của mình nếu thuộc một trong các trường hợp sau đây: a) Vợ về ở với chồng; chồng về ở với vợ; con về ở với cha, mẹ; cha, mẹ về ở với con; b) Người hết tuổi lao động, nghỉ hưu, nghỉ mất sức, nghỉ thôi việc về ở với anh, chị, em ruột; c) Người khuyết tật, mất khả năng lao động, người bị bệnh tâm thần hoặc bệnh khác làm mất khả năng nhận thức, khả năng điều khiển hành vi về ở với anh, chị, em ruột, cô, dì, chú, bác, cậu ruột, người giám hộ; d) Người chưa thành niên không còn cha, mẹ hoặc còn cha, mẹ nhưng cha, mẹ không có khả năng nuôi dưỡng về ở với ông, bà nội, ngoại, anh, chị, em ruột, cô, dì, chú, bác, cậu ruột, người giám hộ; đ) Người thành niên độc thân về ở với ông, bà nội, ngoại, anh, chị, em ruột, cô, dì, chú, bác, cậu ruột; e) Ông bà nội, ngoại về ở với cháu ruột; 3. Được điều động, tuyển dụng đến làm việc tại cơ quan, tổ chức hưởng lương từ ngân sách nhà nước hoặc theo chế độ hợp đồng không xác định thời hạn và có chỗ ở hợp pháp; 4. Trước đây đã đăng ký thường trú tại thành phố trực thuộc trung ương, nay trở về thành phố đó sinh sống tại chỗ ở hợp pháp của mình; 5. Trường hợp quy định tại các khoản 1, 3 và 4 Điều này đăng ký thường trú vào chỗ ở hợp pháp do thuê, mượn, ở nhờ của cá nhân, tổ chức thì phải có đủ các điều kiện sau đây: a) Bảo đảm điều kiện về diện tích bình quân theo quy định của Hội đồng nhân dân thành phố; b) Có xác nhận của Ủy ban nhân dân xã, phường, thị trấn về điều kiện diện tích bình quân; c) Được người cho thuê, cho mượn, cho ở nhờ đồng ý bằng văn bản; 6. Việc đăng ký thường trú vào nội thành thành phố Hà Nội thực hiện theo quy định tại khoản 4 Điều 19 của Luật Thủ đô.” 3. Khoản 1 Điều 23 được sửa đổi, bổ sung như sau: “1. Người đã đăng ký thường trú mà thay đổi chỗ ở hợp pháp, khi chuyển đến chỗ ở hợp pháp mới nếu có đủ điều kiện đăng ký thường trú thì trong thời hạn mười hai tháng có trách nhiệm làm thủ tục thay đổi nơi đăng ký thường trú.” 4. Khoản 4 Điều 30 được sửa đổi, bổ sung như sau: “4. Trưởng Công an xã, phường, thị trấn trong thời hạn ba ngày làm việc, kể từ ngày nhận đủ giấy tờ quy định tại khoản 3 Điều này phải cấp sổ tạm trú theo mẫu quy định của Bộ Công an. Sổ tạm trú được cấp cho hộ gia đình hoặc cá nhân đã đăng ký tạm trú, có giá trị xác định nơi tạm trú của công dân và có thời hạn tối đa là hai mươi bốn tháng. Trong thời hạn ba mươi ngày trước ngày hết thời hạn tạm trú, công dân đến cơ quan Công an nơi cấp sổ tạm trú để làm thủ tục gia hạn. Việc điều chỉnh thay đổi về sổ tạm trú được thực hiện theo quy định tại Điều 29 của Luật này. Sổ tạm trú bị hư hỏng thì được đổi, bị mất thì được cấp lại. Trường hợp đến tạm trú tại xã, phường, thị trấn khác thì phải đăng ký lại.” 5. Khoản 2 Điều 31 được sửa đổi, bổ sung như sau: “2. Đại diện gia đình, nhà ở tập thể, cơ sở chữa bệnh, khách sạn, nhà nghỉ, cơ sở khác khi có người đến lưu trú có trách nhiệm thông báo việc lưu trú với Công an xã, phường, thị trấn; trường hợp người đến lưu trú tại nhà ở của gia đình, nhà ở tập thể mà chủ gia đình, nhà ở tập thể đó không đăng ký thường trú tại địa bàn xã, phường, thị trấn đó thì người đến lưu trú có trách nhiệm thông báo việc lưu trú với Công an xã, phường, thị trấn. Việc thông báo lưu trú được thực hiện trực tiếp hoặc bằng điện thoại hoặc qua mạng Internet, mạng máy tính. Công an xã, phường, thị trấn có trách nhiệm thông báo địa điểm, địa chỉ mạng Internet, địa chỉ mạng máy tính, số điện thoại nơi tiếp nhận thông báo lưu trú cho nhân dân biết.”',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.1981, -0.4591],
#         [ 0.1981,  1.0000,  0.0306],
#         [-0.4591,  0.0306,  1.0000]])

Evaluation

Metrics

Triplet

Dataset: val-triplet
Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.9052

Training Details

Training Dataset

Unnamed Dataset

Size: 1,716 training samples
Columns: anchor, positive, and negative
Approximate statistics based on the first 1000 samples:
anchor positive negative
type string string string
details
min: 16 tokens
mean: 64.98 tokens
max: 192 tokens
min: 73 tokens
mean: 184.13 tokens
max: 192 tokens
min: 81 tokens
mean: 190.3 tokens
max: 192 tokens

Samples:

anchor	positive	negative
`Represent this sentence for searching relevant documents: Có phải khai báo tạm vắng khi đi khỏi phạm vi đơn vị hành chính cấp xã 2 ngày không? Xin cảm ơn! Câu hỏi của bạn Linh đến từ Đồng Tháp.`	Represent this document for retrieval: Luật Cư trú Chương V Điều 31. Khai báo tạm vắng[object Object]Luật 68/2020/QH14[object Object]1. Công dân có trách nhiệm khai báo tạm vắng trong các trường hợp sau đây: a) Đi khỏi phạm vi đơn vị hành chính cấp xã nơi đang cư trú từ 01 ngày trở lên đối với bị can, bị cáo đang tại ngoại; người bị kết án phạt tù nhưng chưa có quyết định thi hành án hoặc đã có quyết định thi hành án nhưng đang tại ngoại hoặc được hoãn chấp hành án, tạm đình chỉ chấp hành án; người bị kết án phạt tù được hưởng án treo đang trong thời gian thử thách; người đang chấp hành án phạt quản chế, cải tạo không giam giữ; người được tha tù trước thời hạn có điều kiện đang trong thời gian thử thách; b) Đi khỏi phạm vi đơn vị hành chính cấp xã nơi đang cư trú từ 01 ngày trở lên đối với người đang chấp hành biện pháp giáo dục tại xã, phường, thị trấn; người phải chấp hành biện pháp đưa vào cơ sở giáo dục bắt buộc, đưa vào cơ sở cai nghiện bắt buộc, đưa vào trường giáo dưỡng nhưng đang được hoãn chấp hành hoặc ...	Represent this document for retrieval: Luật Cư trú Chương IV Điều 32. Khai báo tạm vắng[object Object]Luật 81/2006/QH11[object Object]1. Bị can, bị cáo đang tại ngoại; người bị kết án phạt tù nhưng chưa có quyết định thi hành án hoặc được hoãn, tạm đình chỉ chấp hành hình phạt tù; người bị kết án phạt tù được hưởng án treo; người bị phạt cải tạo không giam giữ; người đang bị quản chế; người đang chấp hành biện pháp giáo dục tại xã, phường, thị trấn; người bị áp dụng biện pháp đưa vào cơ sở giáo dục, cơ sở chữa bệnh, trường giáo dưỡng nhưng đang được hoãn chấp hành hoặc tạm đình chỉ thi hành khi đi khỏi nơi cư trú từ một ngày trở lên có trách nhiệm khai báo tạm vắng. 2. Người trong độ tuổi làm nghĩa vụ quân sự, dự bị động viên đi khỏi huyện, quận, thị xã, thành phố thuộc tỉnh nơi mình cư trú từ ba tháng trở lên có trách nhiệm khai báo tạm vắng. 3. Người quy định tại khoản 1 và khoản 2 Điều này phải khai báo tạm vắng tại Công an xã, phường, thị trấn nơi người đó cư trú. Khi đến khai báo tạm vắng phải xuất trình g...
`Represent this sentence for searching relevant documents: Tôi ở TP HCM được 7 năm, không có sổ tạm trú, nay tôi mới mua căn nhà tại Thủ Đức, TP HCM, muốn làm sổ hộ khẩu có phải đăng ký tạm trú 2 năm mới được nhập khẩu không?`	Represent this document for retrieval: Luật Cư trú Chương III Điều 20. Điều kiện đăng ký thường trú tại thành phố trực thuộc trung ương[object Object]Luật 81/2006/QH11[object Object]Điều kiện đăng ký thường trú tại thành phố trực thuộc trung ương Công dân thuộc một trong những trường hợp sau đây thì được đăng ký thường trú tại thành phố trực thuộc trung ương: 1. Có chỗ ở hợp pháp, trường hợp đăng ký thường trú vào huyện, thị xã thuộc thành phố trực thuộc trung ương thì phải có thời gian tạm trú tại thành phố đó từ một năm trở lên, trường hợp đăng ký thường trú vào quận thuộc thành phố trực thuộc trung ương thì phải có thời gian tạm trú tại thành phố đó từ hai năm trở lên; 2. Được người có sổ hộ khẩu đồng ý cho nhập vào sổ hộ khẩu của mình nếu thuộc một trong các trường hợp sau đây: a) Vợ về ở với chồng; chồng về ở với vợ; con về ở với cha, mẹ; cha, mẹ về ở với con; b) Người hết tuổi lao động, nghỉ hưu, nghỉ mất sức, nghỉ thôi việc về ở với anh, chị, em ruột; c) Người khuyết tật, mất khả năng lao động, người bị bệ...	Represent this document for retrieval: Thông tư Quy định chi tiết thi hành một số điều của luật cư trú, nghị định số 107/2007/NĐ-CP ngày 25/6/2007 và nghị định số 56/2010/NĐ-CP ngày 24/5/2010 về cư trú Chương 2 Điều 6. Hồ sơ đăng ký thường trú[object Object]Thông tư 52/2010/TT-BCA[object Object]1. Hồ sơ đăng ký thường trú, bao gồm: a) Phiếu báo thay đổi hộ khẩu, nhân khẩu; b) Bản khai nhân khẩu; c) Giấy chuyển hộ khẩu (đối với các trường hợp phải cấp giấy chuyển hộ khẩu quy định tại khoản 2 Điều 28 Luật Cư trú); d) Giấy tờ, tài liệu chứng minh chỗ ở hợp pháp theo quy định tại Điều 5 Nghị định số 107/2007/NĐ-CP, trừ trường hợp được người có sổ hộ khẩu đồng ý cho nhập vào sổ hộ khẩu của mình. - Đối với trường hợp chỗ ở hợp pháp là nhà ở do thuê, mượn, ở nhờ của cá nhân thì người cho thuê, cho mượn, cho ở nhờ nhà ở của mình phải ghi rõ ý kiến đồng ý cho đăng ký thường trú vào phiếu báo thay đổi hộ khẩu, nhân khẩu, ký, ghi rõ họ, tên và ngày, tháng, năm (trường hợp trong văn bản cho thuê, mượn, ở nhờ đã nêu rõ nội du...
`Represent this sentence for searching relevant documents: Cho em hỏi nhà em có 3 người thân đến ở lại chơi vài ngày rồi về. Công an có đến kiểm tra lưu trú và bị xử phạt mỗi người 200k và chủ hộ là bố em bị phạt 200k có đúng không ạ? Em cảm ơn.`	Represent this document for retrieval: Luật Cư trú Chương V Điều 30. Thông báo lưu trú[object Object]Luật 68/2020/QH14[object Object]1. Khi có người đến lưu trú, thành viên hộ gia đình, người đại diện cơ sở chữa bệnh, cơ sở lưu trú du lịch và các cơ sở khác có chức năng lưu trú có trách nhiệm thông báo việc lưu trú với cơ quan đăng ký cư trú; trường hợp người đến lưu trú tại chỗ ở của cá nhân, hộ gia đình mà cá nhân, thành viên hộ gia đình không có mặt tại chỗ ở đó thì người đến lưu trú có trách nhiệm thông báo việc, lưu trú với cơ quan đăng ký cư trú. 2. Việc thông báo lưu trú được thực hiện trực tiếp, bằng điện thoại, phương tiện điện tử hoặc phương tiện khác do Bộ trưởng Bộ Công an quy định. 3. Nội dung thông báo về lưu trú bao gồm họ và tên, số định danh cá nhân hoặc số Chứng minh nhân dân, số hộ chiếu của người lưu trú; lý do lưu trú; thời gian lưu trú; địa chỉ lưu trú. 4. Việc thông báo lưu trú được thực hiện trước 23 giờ của ngày bắt đầu lưu trú; trường hợp người đến lưu trú sau 23 giờ thì việc thông báo l...	Represent this document for retrieval: Nghị định Quy định chi tiết một số điều luật cư trú Chương II Điều 4. Nơi cư trú của người không có nơi thường trú, nơi tạm trú[object Object]Nghị định 62/2021/NĐ-CP[object Object]1. Người không có nơi thường trú, nơi tạm trú phải khai báo ngay thông tin về cư trú với cơ quan đăng ký cư trú tại nơi ở hiện tại. Trường hợp qua kiểm tra, rà soát, cơ quan đăng ký cư trú phát hiện người thuộc trường hợp phải khai báo thông tin về cư trú thì có trách nhiệm hướng dẫn và yêu cầu công dân đó thực hiện việc khai báo. Trong thời hạn 30 ngày kể từ ngày cơ quan đăng ký cư trú yêu cầu công dân khai báo thông tin về cư trú, công dân phải có trách nhiệm đến cơ quan đăng ký cư trú để thực hiện khai báo. 2. Cơ quan đăng ký cư trú kiểm tra, xác minh thông tin nhân thân của công dân đã khai báo qua trao đổi, lấy thông tin từ cha, mẹ, anh, chị em ruột hoặc người thân thích khác của công dân; trường hợp cần thiết, có văn bản đề nghị cơ quan, tổ chức có liên quan kiểm tra, xác minh và cung cấp thô...

Loss: TripletLoss with these parameters:
json
1{ 2 "distance_metric": "TripletDistanceMetric.COSINE", 3 "triplet_margin": 0.35 4}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 2
gradient_accumulation_steps: 8
learning_rate: 3e-05
weight_decay: 0.01
warmup_ratio: 0.1
warmup_steps: 0.1
fp16: True
dataloader_drop_last: True
load_best_model_at_end: True

All Hyperparameters

Click to expand

do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 2
per_device_eval_batch_size: 8
gradient_accumulation_steps: 8
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 3e-05
weight_decay: 0.01
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 3
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: None
warmup_ratio: 0.1
warmup_steps: 0.1
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
enable_jit_checkpoint: False
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
use_cpu: False
seed: 42
data_seed: None
bf16: False
fp16: True
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: -1
ddp_backend: None
debug: []
dataloader_drop_last: True
dataloader_num_workers: 0
dataloader_prefetch_factor: None
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
group_by_length: False
length_column_name: length
project: huggingface
trackio_space_id: trackio
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_for_metrics: []
eval_do_concat_batches: True
auto_find_batch_size: False
full_determinism: False
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_num_input_tokens_seen: no
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: True
use_cache: False
prompts: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	val-triplet_cosine_accuracy
0.2331	25	0.2393	-
0.4662	50	0.1182	-
0.6993	75	0.0915	-
0.9324	100	0.0624	0.8879
1.1585	125	0.0533	-
1.3916	150	0.0392	-
1.6247	175	0.0419	-
1.8578	200	0.0387	0.9181
2.0839	225	0.0375	-
2.3170	250	0.0200	-
2.5501	275	0.0146	-
2.7832	300	0.0193	0.9052

The bold row denotes the saved checkpoint.

Framework Versions

Python: 3.12.12
Sentence Transformers: 5.2.3
Transformers: 5.0.0
PyTorch: 2.10.0+cu128
Accelerate: 1.12.0
Datasets: 4.5.0
Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss