元データ:
https://huggingface.co/datasets/open-r1/codeforces-cots
データ件数: 5,334
平均トークン数: 11512
最大トークン数: 30,725
合計トークン数: 61,406,976
ファイル形式: JSONL
ファイルサイズ: 213.1 MB
加工内容
solutions_w_editorials_decontaminatedを使用
停止理由をstopに限定
トークン処理が重たいので、文字数でフィルター
prompt < 6000
generation < 80000
accepted_solutionsがあるもの
thinkタグ除去
繰り返し除去
