元データ:
https://huggingface.co/datasets/moremilk/ToT-Biology
データ件数: 5,752
平均トークン数: 675
最大トークン数: 1,105
合計トークン数: 3,881,334
ファイル形式: JSONL
ファイル分割数: 1
合計ファイルサイズ: 19.3 MB
加工内容：
長文フィルタリング: トークナイズ処理の負荷を軽減するため、事前に文字列が極端に長い行を除外します。
question 列: 6,000文字を超える行を除外。
metadata 列: 80,000文字を超える行を除外。
metadata フィールドの展開:
metadata 列に含まれるJSON形式のデータから reasoning と difficulty の値を抽出します。
reasoning は thought という新しい列に格納します。
difficulty は difficulty という新しい列に格納します。
処理後、元の metadata 列は削除されます。
