ai-theories(https://github.com/kojikojiprg/ai-theories)プロジェクトの成果物。 Transformer decoder-only の GPT スタイル言語モデルを PyTorch でスクラッチ実装し、 英語 Wikipedia コーパスの一部で事前学習したもの(2181 ステップ、 バッチサイズ 32、系列長 256)。

研究・教育目的のモデルであり、品質保証は行っていない。商用・実運用での利用は想定しない。

config.json を参照。トークナイザはバイトレベル BPE(語彙サイズ 8192、 tokenizer.json)。