logo隣大河2 90m base ja v1
architecture:
tarined by (日本語):
- rtx3060 * 2.5h * 6
トレーニングコードは ./training_codesにあります。
学習の際はflash-linear-attentionライブラリのインストールとtrust_remote_codeの有効化が必要です。
./training_codes以下のi2warp.pyはtrlでのsftの際に必要です。
flash-linear-attentionライブラリの該当部分を置き換えて(flaのアップデートに合わせて適宜修正して)使用ください
tokenizer
ascii範囲、カタカナ、ひらがなをchar level、それ以外をbyte levelにした、独自トークナイザを使用しています。
語彙はascii範囲、ひらがな、カタカナ、256種のバイトトークン、bpeで追加された計1024+スペシャルトークン24
qwne3 chat format | special tokensを追加したものです。
ggufファイル単体での完全動作はしないため(mainstreamでのllama.cppでのgguf形式での推論はできるが、特殊なトークナイズ処理の都合上トークナイズ処理は別で実装する必要があります。)
sftなどの際は蓬莱3、隣大河、隣大河2を用途に合わせて選択することを推奨します。
dataset:
- OmniAICreator/Japanese-Wikipedia-202506
use 150k rows 1 epoch * 6, = 900k row (512 seq)
