tohoku-nlp/

nanochat-jp-pretrain

nanochat の日本語フォーク nanochat-jp で使用する 事前学習用日本語コーパス です． LLM によるクリーニングを施した日本語ウェブテキストと，llm-jp の公開コーパスを混合したものを，nanochat のデータローダがそのまま読める parquet 形式で配布しています．

以下の4つのソースを混合し，全体をシャッフルしています．

ソース

llm-jp-corpus-v4 の ja_fineweb-2 サブセット（後述の追加データクリーニングを適用）

llm-jp-corpus-midtraining-v2 ja/llm-jp-IPT_v0.3.2/ja_general.jsonl.gz

llm-jp-corpus-midtraining-v2 ja/llm-jp-IPT_v0.3.2/ja_reasoning.jsonl.gz

llm-jp/scaling-data-constrained-llms… See the full description on the dataset page: https://huggingface.co/datasets/tohoku-nlp/nanochat-jp-pretrain.