文件	说明
`pretrain.pth`	文本预训练权重
`sft01.pth`	SFT 第一阶段（max_seq_len=512）
`sft02.pth`	SFT 第二阶段（max_seq_len=1024）
`moxin-lora.pt`	LoRA 微调权重（基于 sft02）
`pretrain_vlm.pth`	VLM 预训练权重
`sft_vlm.pth`	VLM SFT 权重

训练流程

Tokenizer 训练
      ↓
文本预训练 → pretrain.pth
      ↓
SFT-1 (seq_len=512) → sft01.pth
      ↓
SFT-2 (seq_len=1024) → sft02.pth
      ↓                       ↓
LoRA 微调 → moxin-lora.pt   VLM 预训练 → pretrain_vlm.pth
                                  ↓
                              VLM SFT → sft_vlm.pth

快速使用

python

import torch
from transformers import AutoTokenizer

# 需要先 clone 项目代码
# git clone https://github.com/mozihe/moxin
# cd moxin

from config.moxin_config import MoXinConfig
from model.moxin_model import MoXinModel

config = MoXinConfig()
tokenizer = AutoTokenizer.from_pretrained("tokenizer/moxin_tokenizer")

model = MoXinModel(config)
state_dict = torch.load("out/sft02.pth", map_location="cpu")
model.load_state_dict(state_dict, strict=False)
model.eval()

messages = [{"role": "user", "content": "你好，请介绍一下你自己。"}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
input_ids = torch.tensor(tokenizer(prompt)["input_ids"]).unsqueeze(0)

output = model.generate(
    input_ids,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=512,
    temperature=0.85,
    top_p=0.85,
)
print(tokenizer.decode(output[0], skip_special_tokens=True))

评测结果

中文语言能力

指标	值
Perplexity	147.36
Distinct-1	0.492
Distinct-2	0.864
Distinct-3	0.943
Repetition	0.009
Empty Rate	0.0%

C-Eval（Zero-shot）

类别	准确率
STEM	24.4%
Social Science	25.0%
Humanities	24.8%
Other	22.0%
Overall	24.2%

VLM 图文理解

指标	值
CharOverlap	0.410
BLEU-1	0.305
Distinct-2	0.714
Repetition	0.036
Empty Rate	0.0%

致谢

MiniMind — 项目灵感来源
OpenAI CLIP — 视觉编码器
HuggingFace Transformers — Tokenizer 与模型基类
C-Eval — 中文评测基准

License

MIT