polar
使用说明
当前目录主要保存各 checkpoint 的 .tar.gz 压缩包。使用前先在 /data/xingkun/encoder-b-checkpoints 下解压对应压缩包：
tar -xzf /data/xingkun/encoder-b-checkpoints/<checkpoint>.tar.gz -C /data/xingkun/encoder-b-checkpoints然后用下面“模型路径”里的目录通过 SentenceTransformer 加载。
bge-large-train_triplets
这是一个基于 BAAI/bge-large-en-v1.5 训练出来的 constraint encoder。
模型路径：
/data/xingkun/encoder-b-checkpoints/bge-train_triplets压缩包路径：
/data/xingkun/encoder-b-checkpoints/bge-large-train_triplets.tar.gz训练数据：
/data/xingkun/CoDeR/data/processed/train_triplets.jsonl使用方式：
1 from sentence_transformers import SentenceTransformer
2
3 model = SentenceTransformer ( "/data/xingkun/encoder-b-checkpoints/bge-train_triplets" )
bge-large-retrieval_triplets
这是一个基于 BAAI/bge-large-en-v1.5 训练出来的 constraint encoder。
模型路径：
/data/xingkun/encoder-b-checkpoints/bge-retrieval_triplets压缩包路径：
/data/xingkun/encoder-b-checkpoints/bge-large-retrieval_triplets.tar.gz训练数据：
/data/xingkun/CoDeR/data/processed/retrieval_triplets_v1.jsonl使用方式：
1 from sentence_transformers import SentenceTransformer
2
3 model = SentenceTransformer ( "/data/xingkun/encoder-b-checkpoints/bge-retrieval_triplets" )
bge-large-antsync_triplets
这是一个基于 BAAI/bge-large-en-v1.5 训练出来的 constraint encoder。
模型路径：
/data/xingkun/encoder-b-checkpoints/bge-antsync_triplets/constraint-encoder-v1压缩包路径：
/data/xingkun/encoder-b-checkpoints/bge-large-antsync_triplets.tar.gz训练数据：
/data/xingkun/coder_data/train_data/ant-syn word level/triplets/antsyn_triplets/stage1_lexical_train_triplets.jsonl使用方式：
1 from sentence_transformers import SentenceTransformer
2
3 model = SentenceTransformer ( "/data/xingkun/encoder-b-checkpoints/bge-antsync_triplets/constraint-encoder-v1" )
bge-large-ant_exclusion_triplets
这是一个基于 BAAI/bge-large-en-v1.5 训练出来的 constraint encoder。
模型路径：
/data/xingkun/encoder-b-checkpoints/bge-ant_exclusion_triplets/constraint-encoder-v2-combined压缩包路径：
/data/xingkun/encoder-b-checkpoints/bge-large-ant_exclusion_triplets.tar.gz训练数据：
/data/xingkun/coder_data/train_data/ant-syn word level/triplets/combined_triplets.jsonl使用方式：
1 from sentence_transformers import SentenceTransformer
2
3 model = SentenceTransformer ( "/data/xingkun/encoder-b-checkpoints/bge-ant_exclusion_triplets/constraint-encoder-v2-combined" )
bge-large-three_sources_triplets
这是一个基于 BAAI/bge-large-en-v1.5 训练出来的 constraint encoder。
模型路径：
/data/xingkun/encoder-b-checkpoints/bge-large-three_sources_triplets压缩包路径：
/data/xingkun/encoder-b-checkpoints/bge-large-three_sources_triplets.tar.gz训练数据：
/data/xingkun/coder_data/train_data/bge_large_three_sources_triplets.jsonl该训练数据由以下三个文件拼接而成：
1 /data/xingkun/coder_data/train_data/ant-syn word level/triplets/combined_triplets.jsonl
2 /data/xingkun/coder_data/train_data/excluir_train_set/train-triplets.jsonl
3 /data/xingkun/coder_data/train_data/exclusion_trian/triplets.jsonl
使用方式：
1 from sentence_transformers import SentenceTransformer
2
3 model = SentenceTransformer ( "/data/xingkun/encoder-b-checkpoints/bge-large-three_sources_triplets" )
bge-large-ant_full_excluir_triplets
这是一个基于 BAAI/bge-large-en-v1.5 训练出来的 constraint encoder。
模型路径：
/data/xingkun/encoder-b-checkpoints/bge-large-ant_full_excluir_triplets压缩包路径：
/data/xingkun/encoder-b-checkpoints/bge-large-ant_full_excluir_triplets.tar.gz训练数据：
/data/xingkun/coder_data/train_data/bge_large_ant_full_excluir_triplets.jsonl该训练数据由以下两个文件拼接而成：
1 /data/xingkun/coder_data/train_data/ant-syn word level/triplets/combined_triplets.jsonl
2 /data/xingkun/coder_data/train_data/full_excluir_triplets.jsonl
使用方式：
1 from sentence_transformers import SentenceTransformer
2
3 model = SentenceTransformer ( "/data/xingkun/encoder-b-checkpoints/bge-large-ant_full_excluir_triplets" )
bge-large-ant_then_prefixed_nevir_train_triplets
这是一个基于 /data/xingkun/local_model/bge-large-en-v1.5 训练出来的 two-stage constraint encoder。
模型路径：
/data/xingkun/encoder-b-checkpoints/bge-large-ant_then_prefixed_nevir_train_triplets压缩包路径：
/data/xingkun/encoder-b-checkpoints/bge-large-ant_then_prefixed_nevir_train_triplets.tar.gz第一阶段训练数据：
/data/xingkun/coder_data/train_data/ant-syn word level/triplets/combined_triplets.jsonl第二阶段训练数据：
/data/xingkun/coder_data/train_data/nevir_ir_train_prefixed_query_triplets.jsonl第二阶段数据来自以下文件，并给所有 query 加前缀 Represent this sentence for searching relevant passages: ：
/data/xingkun/coder_data/IR_dataset/NevIR/splits/train/train-triplets.jsonl使用方式：
1 from sentence_transformers import SentenceTransformer
2
3 model = SentenceTransformer ( "/data/xingkun/encoder-b-checkpoints/bge-large-ant_then_prefixed_nevir_train_triplets" )
bge-large-ant_then_prefixed_excluir_nevir_triplets
这是一个基于 /data/xingkun/local_model/bge-large-en-v1.5 训练出来的 two-stage constraint encoder。
模型路径：
/data/xingkun/encoder-b-checkpoints/bge-large-ant_then_prefixed_excluir_nevir_triplets压缩包路径：
/data/xingkun/encoder-b-checkpoints/bge-large-ant_then_prefixed_excluir_nevir_triplets.tar.gz训练数据：
1 Stage 1:
2 /data/xingkun/coder_data/train_data/ant-syn word level/triplets/combined_triplets.jsonl
3
4 Stage 2:
5 /data/xingkun/coder_data/train_data/excluir_nevir_prefixed_query_triplets.jsonl
Stage 2 训练数据由以下两个文件合并而成，并给所有 query 加上前缀 Represent this sentence for searching relevant passages: ：
1 /data/xingkun/coder_data/train_data/excluir_train_set/train-triplets.jsonl
2 /data/xingkun/coder_data/train_data/nevir_train_set/train-triplets.jsonl
Stage 1 输出：
/data/xingkun/encoder-b-checkpoints/bge-large-ant_then_prefixed_excluir_nevir_triplets-stage1使用方式：
1 from sentence_transformers import SentenceTransformer
2
3 model = SentenceTransformer ( "/data/xingkun/encoder-b-checkpoints/bge-large-ant_then_prefixed_excluir_nevir_triplets" )
bge-large-train_retrieval_ant_exclusion_triplets
这是一个基于 BAAI/bge-large-en-v1.5 训练出来的 constraint encoder。
模型路径：
/data/xingkun/encoder-b-checkpoints/bge-large-train_retrieval_ant_exclusion_triplets压缩包路径：
/data/xingkun/encoder-b-checkpoints/bge-large-train_retrieval_ant_exclusion_triplets.tar.gz训练数据：
/data/xingkun/CoDeR/data/processed/train_retrieval_ant_exclusion_triplets.jsonl该训练数据由以下三个文件拼接而成：
1 /data/xingkun/CoDeR/data/processed/train_triplets.jsonl
2 /data/xingkun/CoDeR/data/processed/retrieval_triplets_v1.jsonl
3 /data/xingkun/coder_data/train_data/ant-syn word level/triplets/combined_triplets.jsonl
使用方式：
1 from sentence_transformers import SentenceTransformer
2
3 model = SentenceTransformer ( "/data/xingkun/encoder-b-checkpoints/bge-large-train_retrieval_ant_exclusion_triplets" )
bge-small-train_triplets
这是一个基于 BAAI/bge-small-en-v1.5 训练出来的 constraint encoder。
模型路径：
/data/xingkun/encoder-b-checkpoints/bge-small-train_triplets压缩包路径：
/data/xingkun/encoder-b-checkpoints/bge-small-train_triplets.tar.gz训练数据：
/data/xingkun/CoDeR/data/processed/train_triplets.jsonl使用方式：
1 from sentence_transformers import SentenceTransformer
2
3 model = SentenceTransformer ( "/data/xingkun/encoder-b-checkpoints/bge-small-train_triplets" )
bge-small-retrieval_triplets
这是一个基于 BAAI/bge-small-en-v1.5 训练出来的 constraint encoder。
模型路径：
/data/xingkun/encoder-b-checkpoints/bge-small-retrieval_triplets压缩包路径：
/data/xingkun/encoder-b-checkpoints/bge-small-retrieval_triplets.tar.gz训练数据：
/data/xingkun/CoDeR/data/processed/retrieval_triplets_v1.jsonl使用方式：
1 from sentence_transformers import SentenceTransformer
2
3 model = SentenceTransformer ( "/data/xingkun/encoder-b-checkpoints/bge-small-retrieval_triplets" )
bge-small-antsync_triplets
这是一个基于 BAAI/bge-small-en-v1.5 训练出来的 constraint encoder。
模型路径：
/data/xingkun/encoder-b-checkpoints/bge-small-antsync_triplets压缩包路径：
/data/xingkun/encoder-b-checkpoints/bge-small-antsync_triplets.tar.gz训练数据：
/data/xingkun/coder_data/train_data/ant-syn word level/triplets/antsyn_triplets/stage1_lexical_train_triplets.jsonl使用方式：
1 from sentence_transformers import SentenceTransformer
2
3 model = SentenceTransformer ( "/data/xingkun/encoder-b-checkpoints/bge-small-antsync_triplets" )
bge-small-ant_exclusion_triplets
这是一个基于 BAAI/bge-small-en-v1.5 训练出来的 constraint encoder。
模型路径：
/data/xingkun/encoder-b-checkpoints/bge-small-ant_exclusion_triplets压缩包路径：
/data/xingkun/encoder-b-checkpoints/bge-small-ant_exclusion_triplets.tar.gz训练数据：
/data/xingkun/coder_data/train_data/ant-syn word level/triplets/combined_triplets.jsonl使用方式：
1 from sentence_transformers import SentenceTransformer
2
3 model = SentenceTransformer ( "/data/xingkun/encoder-b-checkpoints/bge-small-ant_exclusion_triplets" )
bge-small-train_retrieval_ant_exclusion_triplets
这是一个基于 BAAI/bge-small-en-v1.5 训练出来的 constraint encoder。
模型路径：
/data/xingkun/encoder-b-checkpoints/bge-small-train_retrieval_ant_exclusion_triplets压缩包路径：
/data/xingkun/encoder-b-checkpoints/bge-small-train_retrieval_ant_exclusion_triplets.tar.gz训练数据：
/data/xingkun/CoDeR/data/processed/train_retrieval_ant_exclusion_triplets.jsonl该训练数据由以下三个文件拼接而成：
1 /data/xingkun/CoDeR/data/processed/train_triplets.jsonl
2 /data/xingkun/CoDeR/data/processed/retrieval_triplets_v1.jsonl
3 /data/xingkun/coder_data/train_data/ant-syn word level/triplets/combined_triplets.jsonl
使用方式：
1 from sentence_transformers import SentenceTransformer
2
3 model = SentenceTransformer ( "/data/xingkun/encoder-b-checkpoints/bge-small-train_retrieval_ant_exclusion_triplets" )
bge-base-train_triplets
这是一个基于 BAAI/bge-base-en-v1.5 训练出来的 constraint encoder。
模型路径：
/data/xingkun/encoder-b-checkpoints/bge-base-train_triplets压缩包路径：
/data/xingkun/encoder-b-checkpoints/bge-base-train_triplets.tar.gz训练数据：
/data/xingkun/CoDeR/data/processed/train_triplets.jsonl使用方式：
1 from sentence_transformers import SentenceTransformer
2
3 model = SentenceTransformer ( "/data/xingkun/encoder-b-checkpoints/bge-base-train_triplets" )
bge-base-retrieval_triplets
这是一个基于 BAAI/bge-base-en-v1.5 训练出来的 constraint encoder。
模型路径：
/data/xingkun/encoder-b-checkpoints/bge-base-retrieval_triplets压缩包路径：
/data/xingkun/encoder-b-checkpoints/bge-base-retrieval_triplets.tar.gz训练数据：
/data/xingkun/CoDeR/data/processed/retrieval_triplets_v1.jsonl使用方式：
1 from sentence_transformers import SentenceTransformer
2
3 model = SentenceTransformer ( "/data/xingkun/encoder-b-checkpoints/bge-base-retrieval_triplets" )
bge-base-antsync_triplets
这是一个基于 BAAI/bge-base-en-v1.5 训练出来的 constraint encoder。
模型路径：
/data/xingkun/encoder-b-checkpoints/bge-base-antsync_triplets压缩包路径：
/data/xingkun/encoder-b-checkpoints/bge-base-antsync_triplets.tar.gz训练数据：
/data/xingkun/coder_data/train_data/ant-syn word level/triplets/antsyn_triplets/stage1_lexical_train_triplets.jsonl使用方式：
1 from sentence_transformers import SentenceTransformer
2
3 model = SentenceTransformer ( "/data/xingkun/encoder-b-checkpoints/bge-base-antsync_triplets" )
bge-base-ant_exclusion_triplets
这是一个基于 BAAI/bge-base-en-v1.5 训练出来的 constraint encoder。
模型路径：
/data/xingkun/encoder-b-checkpoints/bge-base-ant_exclusion_triplets压缩包路径：
/data/xingkun/encoder-b-checkpoints/bge-base-ant_exclusion_triplets.tar.gz训练数据：
/data/xingkun/coder_data/train_data/ant-syn word level/triplets/combined_triplets.jsonl使用方式：
1 from sentence_transformers import SentenceTransformer
2
3 model = SentenceTransformer ( "/data/xingkun/encoder-b-checkpoints/bge-base-ant_exclusion_triplets" )
bge-base-train_retrieval_ant_exclusion_triplets
这是一个基于 BAAI/bge-base-en-v1.5 训练出来的 constraint encoder。
模型路径：
/data/xingkun/encoder-b-checkpoints/bge-base-train_retrieval_ant_exclusion_triplets压缩包路径：
/data/xingkun/encoder-b-checkpoints/bge-base-train_retrieval_ant_exclusion_triplets.tar.gz训练数据：
/data/xingkun/CoDeR/data/processed/train_retrieval_ant_exclusion_triplets.jsonl该训练数据由以下三个文件拼接而成：
1 /data/xingkun/CoDeR/data/processed/train_triplets.jsonl
2 /data/xingkun/CoDeR/data/processed/retrieval_triplets_v1.jsonl
3 /data/xingkun/coder_data/train_data/ant-syn word level/triplets/combined_triplets.jsonl
使用方式：
1 from sentence_transformers import SentenceTransformer
2
3 model = SentenceTransformer ( "/data/xingkun/encoder-b-checkpoints/bge-base-train_retrieval_ant_exclusion_triplets" )
minilm-ant_exclusion_triplets
这是一个基于 /data/xingkun/local_model/all-MiniLM-L6-v2 训练出来的 constraint encoder。
模型路径：
/data/xingkun/encoder-b-checkpoints/minilm-ant_exclusion_triplets压缩包路径：
/data/xingkun/encoder-b-checkpoints/minilm-ant_exclusion_triplets.tar.gz训练数据：
/data/xingkun/coder_data/train_data/ant-syn word level/triplets/combined_triplets.jsonl使用方式：
1 from sentence_transformers import SentenceTransformer
2
3 model = SentenceTransformer ( "/data/xingkun/encoder-b-checkpoints/minilm-ant_exclusion_triplets" )
contriever-ant_exclusion_triplets
这是一个基于 /data/xingkun/local_model/contriever 训练出来的 constraint encoder。
模型路径：
/data/xingkun/encoder-b-checkpoints/contriever-ant_exclusion_triplets压缩包路径：
/data/xingkun/encoder-b-checkpoints/contriever-ant_exclusion_triplets.tar.gz训练数据：
/data/xingkun/coder_data/train_data/ant-syn word level/triplets/combined_triplets.jsonl使用方式：
1 from sentence_transformers import SentenceTransformer
2
3 model = SentenceTransformer ( "/data/xingkun/encoder-b-checkpoints/contriever-ant_exclusion_triplets" )
bge-m3-ant_exclusion_triplets
这是一个基于 /data/xingkun/local_model/bge-m3 训练出来的 constraint encoder。
模型路径：
/data/xingkun/encoder-b-checkpoints/bge-m3-ant_exclusion_triplets压缩包路径：
/data/xingkun/encoder-b-checkpoints/bge-m3-ant_exclusion_triplets.tar.gz训练数据：
/data/xingkun/coder_data/train_data/ant-syn word level/triplets/combined_triplets.jsonl使用方式：
1 from sentence_transformers import SentenceTransformer
2
3 model = SentenceTransformer ( "/data/xingkun/encoder-b-checkpoints/bge-m3-ant_exclusion_triplets" )
bge-large-ant_then_prefixed_excluir_nevir_new800_triplets
这是一个基于 /data/xingkun/local_model/bge-large-en-v1.5 训练出来的 two-stage constraint encoder。
模型路径：
/data/xingkun/encoder-b-checkpoints/bge-large-ant_then_prefixed_excluir_nevir_new800_triplets压缩包路径：
/data/xingkun/encoder-b-checkpoints/bge-large-ant_then_prefixed_excluir_nevir_new800_triplets.tar.gz训练数据：
1 Stage 1:
2 /data/xingkun/coder_data/train_data/ant-syn word level/triplets/combined_triplets.jsonl
3
4 Stage 2:
5 /data/xingkun/coder_data/train_data/excluir_nevir_new800_prefixed_query_triplets.jsonl
Stage 2 训练数据由以下两个文件合并而成，并给所有 query 加上前缀 Represent this sentence for searching relevant passages: ：
1 /data/xingkun/coder_data/train_data/excluir_train_set/new-800/excluir_train_triplets.jsonl
2 /data/xingkun/coder_data/train_data/nevir_train_set/new-800/nevir_train_triplets.jsonl
Stage 1 输出：
/data/xingkun/encoder-b-checkpoints/bge-large-ant_then_prefixed_excluir_nevir_new800_triplets-stage1Stage 1 压缩包路径：
/data/xingkun/encoder-b-checkpoints/bge-large-ant_then_prefixed_excluir_nevir_new800_triplets-stage1.tar.gz训练脚本：
/data/xingkun/coder_data/scripts/train_bge_large_two_stage_new800.py使用方式：
1 from sentence_transformers import SentenceTransformer
2
3 model = SentenceTransformer ( "/data/xingkun/encoder-b-checkpoints/bge-large-ant_then_prefixed_excluir_nevir_new800_triplets" )
bge-reranker-large-ant_then_excluir_nevir_new800_triplets
这是一个基于 /data/xingkun/local_model/bge-reranker-large 训练出来的 two-stage reranker（CrossEncoder）。
模型路径：
/data/xingkun/polar/bge-reranker-large-ant_then_excluir_nevir_new800_triplets压缩包路径：
/data/xingkun/polar/bge-reranker-large-ant_then_excluir_nevir_new800_triplets.tar.gz训练数据：
1 Stage 1:
2 /data/xingkun/coder_data/train_data/ant-syn word level/triplets/combined_triplets.jsonl
3
4 Stage 2:
5 /data/xingkun/coder_data/train_data/excluir_train_set/new-800/excluir_train_triplets.jsonl
6 /data/xingkun/coder_data/train_data/nevir_train_set/new-800/nevir_train_triplets.jsonl
Stage 1 输出：
/data/xingkun/encoder-b-checkpoints/bge-reranker-large-ant_then_excluir_nevir_new800_triplets-stage1训练脚本：
/data/xingkun/coder_data/scripts/train_bge_reranker_two_stage_new800.py使用方式：
1 from sentence_transformers import CrossEncoder
2
3 model = CrossEncoder ( "/data/xingkun/polar/bge-reranker-large-ant_then_excluir_nevir_new800_triplets" )
4 scores = model . predict ( [ [ "query" , "passage" ] ] )
