dancinlab/

anima-corpus-ko-fineweb2-broad

🇰🇷 한국어 broad (일반) 코퍼스 for anima conv 303M byte-level pretraining. anima chat register 표준(a_chat_registers)의 4칸 {ko·en} × {일반·SNS} 중 ko-일반 칸을 메우기 위한 데이터셋이다. 기존 ko-일반 source 가 ~1.7MB 로 빈약(en ~202MB 대비)했던 갭을 FineWeb-2 한국어로 보강한다.

Upstream: HuggingFaceFW/fineweb-2, config kor_Hang (한국어 한글 스크립트). Extracted from: train parquet data/kor_Hang/train/000_00000.parquet (1 of 25 shards). Field: text 컬럼만 추출 (raw UTF-8, byte-vocab256… See the full description on the dataset page: https://huggingface.co/datasets/dancinlab/anima-corpus-ko-fineweb2-broad.