oscar-corpus/OSCAR-2301の以下のjaのみを corpus-cleanerを使用してデータクリーニングを行なったデーセット群
Code
Language
docs
words
Content Length :
ja
Japanese
94,236,404
4,401,059,165
181.2 GB
ただし以下のファイルは、クリーニングが成功していないため除外しています。
ja_meta_part_117.jsonl
ja_meta_part_13.jsonl
ja_meta_part_24.jsonl
ja_meta_part_4.jsonl
ja_meta_part_64.jsonl
ja_meta_part_81.jsonl
ja_meta_part_82.jsonl
