lianghsun/

fineweb-edu-zhtw

	Dataset Card for fineweb-edu-zhtw




	


	UltraX 清洗欄位

本資料集的原始欄位（text 等 12 欄）維持不變，另外新增以下欄位，記錄以 openbmb/UltraX-0.6B-Preview 清洗的結果。 UltraX 不是端到端改寫，而是預測結構化的編輯操作（keep_all / remove_all / remove_lines / replace_str / add_line），再由程式確定性地套用，因此每一個決策都可被檢驗與否決。

欄位 說明

cleaned_text 清洗後的文字，緊接在 text 之後；needs_review 為 true 時等同原文（不採用清洗結果）

cleaned_word_count 清洗後詞數，與原 word_count 同一套算法（CJK 逐字 + 英文逐詞）

cleaned_token_count 清洗後 token 數，與原 token_count 同一套（tiktoken cl100k_base）… See the full description on the dataset page: https://huggingface.co/datasets/lianghsun/fineweb-edu-zhtw.