You can deploy this model and start earning money today!

tako080614/
evex-2

Name: evex-2
Availability: InStock

Views

No views yet

evex-2

ある Discord サーバーの過去ログだけをゼロから学習した 5.87M パラメータの言語モデル。既存モデルからの継続学習ではなく、tokenizer も含めて全部そのログから作った。 このモデルにとって世界はそのログだけで、一般知識は一切持っていない。

evex-1 の第2世代。コーパスも語彙も構成も同じで、変えたのは2つだけ。

evex-1 から変えたこと

1. 学習率 3e-4 → 1e-3

evex-1 は 10 epoch 通して val loss が単調に下がり続けていた = 収束していなかった。上げて 12 epoch 回したら val 4.2404 → 4.0384 (同じ尺度で測った値)。

2. 正規化記号を損失から外した

evex-1 の一番大きい問題は、返答の 38.5% が <url> や <file> だけだったこと。正規化で作った記号なので発言ではなく、bot は画像もリンクも実際には出せない。

原因は密度ではなく1トークンであること。添付だけの発言 (コーパスの 3.6%) が <file> 1個に潰れていたので、発言の先頭で確率が1点に集中していた。

そこで <file> <url> <mention> <channel> <time> を損失から外して学習した。文脈からは消していない — 「誰かが画像を貼って、他の人が反応する」流れは学ばせたいので、入力には残したまま、その位置の予測だけ評価しない。

<nl> と <code> は外していない。改行もコードブロックもモデルが書いて良いもの。

効果

同じチェックポイント同士を同じ尺度で測り直した結果 (12 epoch / 96 生成 / プロンプトと乱数を固定):

	素 val	マスク val	記号だけの返答
マスクなし	4.0384	4.0465	38.5%
マスクあり (これ)	4.0970	4.0330	0.0%

素 val … <url> <file> も予測対象に含める尺度
マスク val … 記号を損失から外す尺度 = 実際に読まれる語だけの尺度

素の尺度で 0.059 負けているのは、その尺度が <url> を当てることを点数にしている から。出してほしくないトークンなので、そこで負けるのは払って良いコスト。実際に読まれる語だけで測れば勝っていて、記号だけの返答は消えた。

推論時に記号を禁止する必要がなくなった。 evex-1 では ban_ids で潰して 38% → 12% に抑えるしかなかったが、あれは高確率のトークンを削って再正規化するので出てくる第二候補が歪む。損失から外せば確率の質量が最初から実際の語に乗る。

evex-1 のカードに載せた seed をそのまま引き直すと、記号だけだった3本が全部発言になる (プロンプトは <|conv|><|s3|>これバグってる？<|other|>)。

seed	evex-1	evex-2
1000	`これでいいです`	`それでも、自分のこと言えば、それは正しいかも`
1001	`<url>`	`なんかあれはcodexがバグってる`
1002	`おしえて` / `おｋ` / `<url>`	`おしえて` / `おｋ` / `お疲れ様です`
7	`<file><file><file>`	`いやー` / `あーそれはそっか`

中身が正しくなったわけではない。 5.87M なので固有名詞は形だけ真似て、長く出させれば崩れる。消えたのは「発言ですらないもの」だけ。

使い方

transformers の Auto クラスには当てはまらない構成なので、同梱の modeling_evex.py を使う。 tokenizer は evex-1 と同一 (tok.model の md5 が一致) なので、既に evex-1 を持っているならそちらを使い回せる。

bash

pip install torch safetensors sentencepiece huggingface_hub
hf download tako080614/evex-2 --local-dir evex-2

git clone で取るなら git-lfs が必要。入れずに clone すると model.safetensors が 133 バイトのポインタになり、読み込もうとしても壊れる。ls -la して 22MB あるか確かめる。

python

import json, sys, torch, sentencepiece as spm
from safetensors.torch import load_file

sys.path.insert(0, "evex-2")
from modeling_evex import Config, MicroLM

cfg_json = json.load(open("evex-2/config.json"))
cfg = Config(
    vocab_size=cfg_json["vocab_size"], n_layers=cfg_json["n_layers"],
    d_model=cfg_json["d_model"], n_heads=cfg_json["n_heads"],
    context=cfg_json["context"], dropout=0.0, attn_dropout=0.0,
)

model = MicroLM(cfg)
state = load_file("evex-2/model.safetensors")
state["head.weight"] = state["embed.weight"]      # weight tying を結び直す
model.load_state_dict(state)
model.eval()

sp = spm.SentencePieceProcessor(model_file="evex-2/tok.model")
end_id = sp.piece_to_id("<|end|>")

prompt = "<|conv|><|s3|>これバグってる？<|other|>"
ids = torch.tensor([sp.encode(prompt, out_type=int)])
out = model.generate(ids, max_new_tokens=60, temperature=0.9, top_k=40, stop_id=end_id)
print(sp.decode(out[0].tolist()))

head.weight は入っていない。weight tying で embed.weight と同じテンソルを指しており、 safetensors はストレージを共有したテンソルを保存できないので落としてある。上のように結び直す。

ban_ids は要らない。渡しても害は無いが、記号だけの返答は既に出ない。

プロンプトの形

学習データと同じ直列化でないと、モデルは一度も見ていない形を受け取って崩れる。

<|conv|><|s3|>今日ひま？<|s7|><|re|>ひま<|end|>

トークン	意味
`<\|conv\|>`	会話の開始
`<\|end\|>`	会話の終了
`<\|s0\|>`〜`<\|s47\|>`	話者。発言数の多い上位48人 (人間の発言の 85.3% を被覆)
`<\|other\|>`	それ以外の 2,599 人
`<\|re\|>`	直前の誰かへの返信
`<nl>`	発言内の改行
`<url>` `<mention>` `<channel>` `<time>` `<file>`	正規化した URL / メンション / チャンネル / 時刻 / 添付。このモデルはこれらを出さない
`<code>` `</code>`	コードブロック

末尾に話者トークンを置くと、その話者として続きを書く。speakers.json に各話者の発言数と表示名が入っている。 Discord の user ID は入れていない (モデルの動作に要らず、実アカウントへの手がかりになる)。

同じ話者トークンが続けて出ることがある。 学習データでは話者の塊のうち 27.4% が 2連続以上なので、モデルもそう書く。1発言だけ欲しいなら最初の話者トークンで切る。

絵文字・草・www・顔文字は正規化せず残してあるので、そのまま出る。

数字

	evex-2	evex-1
パラメータ	5,868,800	5,868,800
学習トークン	6,685,152	6,685,152
語彙	4,096 (SentencePiece BPE / byte fallback)	同じ
context	512	512
構成	decoder-only / 6 層 / d_model 256 / 4 head / d_ff 704 RoPE + RMSNorm + SwiGLU + weight tying	同じ
学習	12 epoch / lr 1e-3 / AdamW / cosine / CPU のみ	10 epoch / lr 3e-4
損失マスク	`<file>` `<url>` `<mention>` `<channel>` `<time>`	なし
train / val loss	3.5535 / 4.0559 (マスク尺度)	3.8685 / 4.2404 (素)
記号だけの返答	0.0%	38.5%

データは足りていない。 Chinchilla 最適 (20 トークン/パラメータ) はこの規模だと 33万パラメータで、5.87M は最適の 6%。val は 12 epoch でもまだ下がり続けているので、学習の余地は残っている。

できること / できないこと

できる: チャットの口調、短い応答、ネットスラング、そのサーバー特有の語彙と話題、話者ごとの癖 (ある話者は「〜にゃい」と書くが、それを再現する)

できない: 一般常識、推論、数学、コード生成、長い整合性、知らない話題への応答

固有名詞は形だけ真似て中身が合わない。Cloudflare Codex AGP Core MT6589 のように、見たことのある語を組み替えたものが出る。事実として読むものではない。

出どころと制限

学習データは同意を明示的に取っていない実在の人物の会話。逐語での再生は 20 文字以上の完全一致で 0 箇所だったが、669万トークンを12周しているので実際の発言に近いものが出る可能性は残る。

生成物を事実として扱ってはいけない
特定の人物の発言として扱ってはいけない
話者トークンと表示名の対応は speakers.json で公開している。Discord の user ID は公開していない
学習に使ったログそのものは公開していない
表示名で名指しできる形になっているので、特定の人が書いたものとして引用してはいけない