번역 결과에 토큰이 반복된 결과들이 포함되어 있습니다. 필터링 후 재업로드 하겠습니다.
Z 알고리즘을 사용해 결과를 필터링 하였으며 {subset}_filtered 로 업로드하였습니다.
필터링 후 결과
subset
전
후
split/train
4205413
4162254
split/test
221249
218830
merge/train
1043917
1034473
merge/test
54948
54430
HuggingFaceTB/smoltalk 데이터셋의 subset:all을 nayohan/llama3-instrucTrans-enko-8b 모델을 사용해 번역했습니다.
원본의 messages 중 4096 token 이 넘어가는 content가 있다면 해당 레코드는 번역하지 않았습니다.
