이 데이터셋은 fineweb-edu의 방법을 한국어에 적용하기 위해 만들어진 합성 데이터셋입니다. v1과 v2는 퀄리티가 낮습니다. v3을 사용하는 것을 권장합니다. This synthetic dataset was created to apply the methods of fineweb-edu to Korean datasets. v1 and v2 are of low quality. I recommend using v3.

v1

source: HAERAE-HUB/KOREAN-WEBTEXT, sampled 500k analysis model: mistralai/Mistral-Nemo-Instruct-2407

temperature: 0.5 min_p: 0.1 max_model_len: 8192

generation time: ~42 hrs

v2

source:… See the full description on the dataset page: https://huggingface.co/datasets/devngho/ko_llm_annotations.