参数	值
微调方式	LoRA (PEFT)
秩 (r)	64
Alpha	128
Dropout	0.1
目标模块	q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
任务类型	Causal LM
训练轮数	8 Epochs (376 steps)
批次大小	1 × 8 (梯度累积)
学习率	1e-4
预热比例	5%
最大序列长度	1024
精度	F32
设备	Apple Silicon MPS

目标模块覆盖范围: Attention 全部 4 个投影 (q/k/v/o_proj) + MLP 全部 3 个投影 (gate/up/down_proj)，共 7 个线性层。

训练过程

最佳检查点: Step 90 (Epoch ~2), eval_loss = 0.2705
最终训练 Loss: ~0.015
训练耗时: ~4.76 小时 (17151 秒)
训练框架: HuggingFace Transformers + PEFT

注: 从 Step 90 后验证损失开始上升 (0.28→0.30→0.32)，说明第 2 个 Epoch 后开始过拟合。

加载方式

python

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

# 加载基座模型
base_model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3.5-0.8B",
    torch_dtype="auto",
    trust_remote_code=True,
)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3.5-0.8B", trust_remote_code=True)

# 加载 LoRA 适配器
model = PeftModel.from_pretrained(base_model, "lemonbucket/yuwen-v3-lora")

# 推理
messages = [
    {"role": "system", "content": "你是yuwen-v3，由柠檬桶基于Qwen3.5-0.8B微调的语文模型，擅长语文阅读理解答题。回答要分点作答、术语规范、踩分精准。"},
    {"role": "user", "content": "请分析《荷塘月色》中通感手法的运用。"},
]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=1024, temperature=0.3, top_k=20, top_p=0.85)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

许可证

Apache 2.0（继承自 Qwen3.5 基座模型）

致谢

基座模型: Qwen/Qwen3.5-0.8B by Alibaba Qwen Team
微调框架: HuggingFace Transformers + PEFT
训练者: 柠檬桶 (lemonbucket)