lorinma/

Slim-Moss003sft-zh

因为原生的Moss003数量太大，所以进行了简单的去重。 去重方法大致为，只选择中文的对话，使用bert-base-chinese将第一个问题转换为embedding，使用类knn的方法抽取了1万条。并转换成了sharegpt格式。