A big shout out to AllenAI, you guys rock!
从WildChat中抽出中文对话,但是因为发现了很多重复对话，有的人会反复的用一个prompt进行提问，有的人会换3.5或4去问同样的问题，所以进行了简单的去重。
去重方法大致为，使用bert-base-chinese将第一个问题转换为embedding，使用类knn的方法抽取了1万条。并转换成了sharegpt格式。
注意！在对话中发现了NSFW的内容，并没有进行过滤，使用请注意甄别。
你会找到三个jsonl文件：
wildchat-seed-multi-200.json 是使用每一个单独的Dialogue的首个HumanQuestion为基础，采样的200个种子任务，用于EvolInsturction。
Subsample_10K.jsonl 原始版本，是使用每一个单独的Dialogue的首个HumanQuestion为基础，采样的1万个对话。
1213_Wildchat_zh_Sharegpt_ConcatSubsample_20k.jsonl… See the full description on the dataset page:
https://huggingface.co/datasets/lorinma/Slim-Wildchat-zh.
