Yunmo 是基於
MiniMind v3 的增量復現：將 MiniMind 的完整訓練語料以 OpenCC
s2twp（簡體→臺灣正體）逐筆轉為繁體、併入臺灣在地增量語料，並重訓一個 24,000 詞的繁體特化分詞器。架構沿用 MiniMind v3（Qwen3-style：RMSNorm、SwiGLU、RoPE、GQA、QK-Norm），刻意調整兩處：層數 8→24、詞表 6,400→24,000。
權重為隨機初始化、從零訓練（pretrain + SFT），並非自 minimind-3 的 checkpoint 微調而來。1import torch
2from transformers import AutoModelForCausalLM, AutoTokenizer
3
4model = AutoModelForCausalLM.from_pretrained("yuhuanstudio/yunmo-v1", dtype=torch.float16).to("cuda").eval()
5tok = AutoTokenizer.from_pretrained("yuhuanstudio/yunmo-v1")
6
7msgs = [{"role": "user", "content": "你是誰？"}]
8text = tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True)
9inp = tok(text, return_tensors="pt").to("cuda")
10inp.pop("token_type_ids", None)
11out = model.generate(**inp, max_new_tokens=256, do_sample=True, temperature=0.7, top_p=0.9, repetition_penalty=1.1)
12print(tok.decode(out[0][len(inp["input_ids"][0]):], skip_special_tokens=True))
13# → 我是 Yunmo，一個由 YuhuanStudio 開發的繁體中文小型語言模型。
Apache-2.0。本模型為
MiniMind（jingyaogong）之增量復現,承其架構與訓練配方,謹此致謝。
