You can deploy this model and start earning money today!

esehe/
shion-v4.2-small-anneal-step12k

Name: shion-v4.2-small-anneal-step12k
Availability: InStock

onnx

japanese

ime

kana-kanji-conversion

ctc

non-autoregressive

apache-2.0

Views

No views yet

shion-v4.2-small-anneal-step12k

日本語 IME 向けのかな漢字変換モデル(ONNX)。shion-v4.2-small と同一アーキテクチャの encoder-only CTC 非自己回帰 (NAT) モデルを、短い cosine アニーリングで再学習した後継版です。読み(ひらがな列)と左文脈を入力に、1 回の forward で漢字かな交じり文を出力します。AR モデルと違い逐次生成がないため、CPU でリアルタイム IME に組み込める速度(int8 / beam20 / n-gram + 辞書融合込みで実測 p50 ≈ 15ms)を保ったまま、v4.2-small 比で AJIMEE-Bench EM@1 を大きく改善しています。

English TL;DR: A 30M-parameter encoder-only CTC (non-autoregressive) kana-to-kanji conversion model for Japanese IMEs — a short cosine-anneal continuation of shion-v4.2-small on the same architecture. Single forward pass, int8 ONNX, ~15ms p50 on desktop CPU including beam search + n-gram/dictionary fusion. Feed [CLS] context [SEP] reading, CTC-collapse the argmax (blank id = 4), decode with the bundled vocab.

Files

file	内容
`shion-v4.2-small-anneal-step12k.int8mp24.onnx`	混合精度 int8(55MB、配備推奨。下記 Eval の数値はこれ)
`shion-v4.2-small-anneal-step12k.int8.onnx`	素の動的 int8 量子化(26MB、単体最軽量)
`shion-v4.2-small-anneal-step12k.fp32.onnx` + `.data`	fp32(102MB、検証・再量子化用)
`shion-v4.2-small-anneal-step12k.fp32.tokenizer.json.vocab.hex.tsv`	vocab(id → token の hex 表現、v4.2-small と共通)

int8mp24 は素の int8 動的量子化に対して、per-channel int8 量子化誤差が大きい上位 24 個の重み行列(MatMul/Gemm)だけを fp32 のまま残す混合精度版です。素の int8 より一回り大きい代わりに量子化誤差が小さく、下記の融合デコード込み評価数値はこの artifact で計測しています。

Model

アーキテクチャ: Transformer encoder ×6 層、hidden 384 / heads 6 / FFN 1536、max_positions 128(shion-v4.2-small と同一)
出力: 文字単位 CTC、vocab 4801(特殊 token 含む、v4.2-small と共通)
文脈条件付け: 左文脈(確定済みテキスト)を入力に連結。学習時の文脈は最大 ~64 字
学習: shion-v4.2-small の flat-LR チェックポイントを起点に、短い cosine アニーリングで再学習(base recipe は v4.2-small と同一の in-house 日本語 Web/書籍系コーパス)

I/O 仕様

input:  input_ids      int64 (batch, seq)   seq ≤ 128
input:  attention_mask int64 (batch, seq)   1 = 有効
output: logits         float (batch, seq, 4801)

入力レイアウト: [CLS] <context(左 trim)> [SEP] <reading>

reading(読み)を最優先で確保し、残り枠に context を右端から詰める
特殊 token id: [PAD]=0 [UNK]=1 [SEP]=2 [CLS]=3 [BLANK]=4 [MASK]=5

デコード手順(最小)

logits を position ごとに argmax
CTC collapse: 連続する同一 id を 1 つに圧縮 → blank(=4)を除去
残った id 列から特殊 token(id 0–5)を落とし、vocab で文字列化

精度を上げる場合は CTC prefix beam search(width 8–20)+ 辞書・n-gram 融合を推奨(下記 Eval の数値は beam20 + n-gram + 辞書融合込み)。

vocab の読み方

TSV の各行は id \t hex 形式。hex は token 文字列の UTF-8 バイト列の 16 進表現です(PUA・不可視文字を安全に扱うため)。<0xXX> という形の token は byte-fallback(OOV 文字を UTF-8 バイト単位で表現)で、デコード時はバイトとして連結してから UTF-8 復号してください。

Python 最小例

python

import numpy as np
import onnxruntime as ort

vocab = {}
with open("shion-v4.2-small-anneal-step12k.fp32.tokenizer.json.vocab.hex.tsv", encoding="utf-8") as f:
    for line in f:
        i, hx = line.rstrip("\n").split("\t")
        vocab[int(i)] = bytes.fromhex(hx).decode("utf-8")
tok2id = {t: i for i, t in vocab.items()}

def encode(text):  # 1 文字 1 token、OOV は byte fallback
    ids = []
    for ch in text:
        if ch in tok2id:
            ids.append(tok2id[ch])
        else:
            ids.extend(tok2id[f"<0x{b:02X}>"] for b in ch.encode("utf-8"))
    return ids

reading, context = "きょうはいいてんきですね", "おはよう。"
ids = [3, *encode(context), 2, *encode(reading)]  # [CLS] ctx [SEP] reading
x = np.array([ids], dtype=np.int64)
mask = np.ones_like(x)

sess = ort.InferenceSession("shion-v4.2-small-anneal-step12k.int8mp24.onnx")
logits = sess.run(None, {"input_ids": x, "attention_mask": mask})[0][0]

out, prev = [], -1
for i in logits.argmax(-1):  # greedy CTC collapse
    if i != prev and i > 5:
        out.append(vocab[int(i)])
    prev = i
print("".join(out))  # → 今日はいい天気ですね

Eval(AJIMEE-Bench JWTD, n=200, 文脈付き)

構成	EM@1	EM@5	p50
int8mp24 + beam20 + n-gram(α0.4) + 辞書融合(γ0.3) + 記号分割後処理(配備構成)	0.765	0.875	15.1ms
int8 + beam20 + 辞書融合(n-gram なし)	0.675	—	8.9ms
int8 + greedy(モデル単体、融合なし)	0.675	—	—

配備構成は本モデルの ONNX だけでは再現できません(neo-ime の Rust デコードエンジン + n-gram LM + 辞書(SudachiDict)融合 + 記号分割後処理が別途必要)。ONNX 単体で得られる現実的な数値は「int8 + greedy」または「int8 + beam + 辞書融合(n-gram なし)」の行を参照してください。

参考: AR 系の zenz-v3.1-small は同ベンチ EM@1 0.865(python/transformers ランタイム、p50 ≈ 520ms)、GGUF 配備版(zenz-v3.1/v3.2-small, llama.cpp)は EM@1 0.85(p50 ≈ 970〜1040ms)。本モデルは配備構成の精度でこの差を 0.10 前後まで詰めつつ、単発 forward の NAT として桁違いに低いレイテンシ(60〜70倍高速)で動作します。

shion-v4.2-small との違い

同一アーキテクチャ・同一 vocab のまま、v4.2-small の flat チェックポイントを起点に短い cosine アニーリングを追加しただけの再学習です。データ・学習コードに変更はありません。v4.2-small 側の EM@1(int8 + beam16 + 辞書融合)は 0.645 でした。

Known issues

まれに OOV 記号類に対して 〓(geta)や代替記号を出力することがあります(学習データ由来。NFKC 等の後段正規化を推奨)
英字・記号混じり入力(例: 読みから ASCII への変換)は弱い領域です
max_positions 128 を超える長文は読み優先で文脈が切り捨てられます

License

Apache-2.0

esehe/shion-v4.2-small-anneal-step12k