Views
No views yet
trtd56/TimeCapsuleLLM-ja-corpus-v4 です。青空文庫の時代・権利フィルタ通過作品と、1945年以前刊行かつPDMであるNDL OCR品質通過資料を使用しました。test作品はフェーズ間で固定しています。training_config.yaml、artifact_manifest.json、evaluation.json を参照してください。python inference.py '文明開化とは' を実行してください。必要パッケージは torch, tokenizers, safetensors です。transformer.wte.weight はファイルに含まれず
lm_head.weight のみが保存されます。同梱の inference.py は safetensors.torch.load_model
を使っており、GPT が読み込み後に重みを結び直すのでそのまま動作します。
自分でstate_dictを読む場合は strict=False を指定し、読み込み後に
model.transformer.wte.weight.data_ptr() == model.lm_head.weight.data_ptr() を
確認してください。これを怠ると埋め込みが未初期化のまま推論することになります。