#	更新项	说明
1	新增 Q5_K_M 量化版本	`yuwen-v3-q5_k_m.gguf`（~551 MB），填补 Q4 与 Q8 之间的精度空白，提供 5-bit 精度选择
2	所有 GGUF 从根源关闭思考模式	通过二进制补丁修改 `chat_template`，将 `enable_thinking` 硬编码为 `false`。所有 4 个版本（F32 / Q4_K_M / Q5_K_M / Q8_0）均已完成补丁，无需用户手动配置，开箱即用
3	补全 Q5_K_M 评测数据	此前标注为「待测」，现已完成全部 9 题测试。结果：6 维度 28/60，答题 15/39 (38.5%)，选择题 3/5 (60%)。Q5 在文学常识题（Q6）表现突出，常识储备 6/10 远超 Q8 的 3/10
4	新增 `Modelfile.q5_k_m`	对应 Q5 量化版本的 Ollama 部署文件

为什么要更新？

此前仓库仅有 F32 / Q4 / Q8 三个量化版本，缺少 5-bit 精度选项；且 GGUF 文件未关闭思考模式，部署后模型可能输出异常思维链（<think> 标签内容混乱），导致回答质量严重下降。本次更新解决了这两个核心问题，并补全了完整的四版本评测对比数据。

模型简介

本仓库是 yuwen-v3 的合并后完整模型（LoRA 权重已融合进基座模型），基于 Qwen/Qwen3.5-0.8B 进行 LoRA 微调后合并。

同时包含 GGUF 格式文件（F32 全精度 + Q4_K_M 量化 + Q5_K_M 量化 + Q8_0 量化），方便通过 Ollama / llama.cpp 部署。

如果只想下载 LoRA 增量权重，请前往 lemonbucket/yuwen-v3-lora

重要：本模型已修改 chat_template，默认关闭思考模式。所有 GGUF 文件均已通过二进制补丁从根源关闭思考。

基座模型

项目	说明
模型	Qwen/Qwen3.5-0.8B
参数量	~0.8B

微调配置

参数	值
微调方式	LoRA (PEFT)
秩 (r)	64
Alpha	128
目标模块	q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
训练轮数	8 Epochs
精度	F32

仓库文件

Transformers 格式

文件	说明	大小
`model.safetensors`	合并后完整模型权重 (F32)	~3.2 GB
`config.json`	模型配置	-
`generation_config.json`	生成配置	-
`tokenizer.json` / `tokenizer_config.json`	分词器	-
`vocab.json` / `merges.txt`	词表	-
`chat_template.jinja`	无思考版 chat_template	-
`preprocessor_config.json`	多模态预处理器配置	-

GGUF 格式（均已关闭思考模式）

文件	量化精度	大小	状态
`yuwen-v3-f32.gguf`	F32 全精度	~2.8 GB	✅
`yuwen-v3-q4_k_m.gguf`	Q4_K_M (4-bit)	~505 MB	✅
`yuwen-v3-q5_k_m.gguf`	Q5_K_M (5-bit)	~551 MB	✅
`yuwen-v3-q8_0.gguf`	Q8_0 (8-bit)	~774 MB	✅
`mmproj-yuwen-v3-f32.gguf`	多模态投影文件	~384 MB	✅

Ollama 部署文件

文件	对应量化版本	状态
`Modelfile.f32`	F32	✅
`Modelfile.q4`	Q4_K_M	✅
`Modelfile.q5_k_m`	Q5_K_M	✅
`Modelfile.q8_0`	Q8_0	✅

其他

文件	说明
`关闭模型思考模式指南.md`	关闭思考模式的详细教程

评测结果 (2026 年高考语文现代文阅读)

完整评测报告（含测试题目、各模型逐题回答及评分明细）已上传至本仓库的 yuwen测评/ 目录。

测试标准

项目	说明
题目来源	2026 年普通高等学校招生全国统一考试（全国 I 卷）语文
测试范围	现代文阅读（阅读 I 信息类文本 5 题 + 阅读 II 文学类文本 4 题，共 9 题）
满分	39 分（选择题 15 分 + 简答题 24 分）
测试时间	2026-07-07 / 2026-07-10 / 2026-07-11
测试模型数	11 个（yuwen 全系列 + Qwen3.5-0.8B 基座对比）
阅卷评判官	GLM-5.2
评分维度	答题规范性、长文本处理、基础理解、常识储备、信息准确性、深度分析（每维度 10 分，满分 60 分）

排名总览

排名	模型	6维度总分(60)	答题得分(39)	得分率	选择题正确率
🥇 1	yuwen-v3-q4	47	28	71.8%	5/5 (100%)
🥈 2	yuwen-assistant†	41	21	53.8%	4/5 (80%)
🥉 3	yuwen-v2	30	15	38.5%	2/5 (40%)
4	yuwen-v3 (F32)	29	14	35.9%	1/5 (20%)
5	yuwen-v2-q4	29	14	35.9%	2/5 (40%)
6	yuwen-v3-q5	28	15	38.5%	3/5 (60%)
7	yuwen-v3-q8	27	16	41.0%	3/5 (60%)
8	qwen3.5:0.8b	24	13	33.3%	2/5 (40%)
9	yuwen-v1	23	5	12.8%	1/5 (20%)
10	yuwen-v2-preview-q4	23	12	30.8%	3/5 (60%)
11	yuwen-v2-preview	18	5	12.8%	1/5 (20%)

† yuwen-assistant 并非微调模型，而是通过提示词工程（Prompt Engineering）在 Qwen3-0.6B 基础上实现的语文问答助手，未进行任何权重微调，在此作为对比基准参与评测。

关键发现

yuwen-v3-q4 一骑绝尘：选择题 5/5 全对，总分 47 分远超第二名，是唯一能在文学类文本中准确辨析列文与聂赫留朵夫差异的模型。
量化即正则化：Q4 量化的"压缩效应"最显著地抑制了过度推理；Q8 部分缓解了过度推理，选择题从 1/5 提升到 3/5。
Q5 与 Q8 特长完全互补：Q5 的 6 维度总分（28 分）略高于 Q8（27 分），但两者强项完全不同——
- Q5 在文学常识题（Q6）全对（常识储备 6/10）
- Q8 在信息类文本题（Q1/Q2）全对
- Q5 选择题对错模式：Q3✅ Q6✅ Q7✅ / Q1❌ Q2❌（文学类全对，信息类全错）
- Q8 选择题对错模式：Q1✅ Q2✅ Q7✅ / Q3❌ Q6❌（信息类全对，文学类全错）
文学常识是普遍短板：11 个模型中仅 v3-q4、assistant 和 v3-q5 能在 Q6 中正确识别"忏悔感"的错误。v3-q5 在此题的辨析尤为精彩，准确区分了列文的"情感共鸣/劳动愉悦"与聂赫留朵夫的"道德忏悔/道德觉醒"。

完整评测报告（含逐题评分、各模型详细回答）请见 yuwen测评/2026测试结果汇总.md。

V3 各量化版本对比

特性	F32	Q4_K_M	Q5_K_M	Q8_0
文件大小	~2.8 GB	~505 MB	~551 MB	~774 MB
最小内存需求	~3.2 GB	~600 MB	~650 MB	~1.0 GB
答题得分 (满分 39)	14 (35.9%)	28 (71.8%)	15 (38.5%)	16 (41.0%)
选择题正确率	1/5 (20%)	5/5 (100%)	3/5 (60%)	3/5 (60%)
6 维度评分 (满分 60)	29	47	28	27
常识储备 (满分 10)	5	7	6	3
信息准确性 (满分 10)	4	8	3	4
思考模式	✅ 已关闭	✅ 已关闭	✅ 已关闭	✅ 已关闭
输出风格	过度推理、长篇大论，常超出题目要求范围，信息类选择题全部误判	聚焦精准、条理清晰，输出高度收敛于题意，无冗余推理	文学常识辨析精准但信息类文本理解偏差大，Q1/Q2 全部误判，Q5 指令遵循偏弱	过度推理部分缓解，选择题从 1/5 提升至 3/5，但 Q5 指令遵循仍弱，Q9 续写有臆造内容

Q5 vs Q8 详细对比

维度	Q5_K_M	Q8_0	优势方
6 维度总分	28	27	Q5 略优
答题得分	15	16	Q8 略优
选择题正确率	3/5 (60%)	3/5 (60%)	持平
选择题对错模式	Q3✅ Q6✅ Q7✅	Q1✅ Q2✅ Q7✅	互补
常识储备	6/10	3/10	Q5 远优
信息准确性	3/10	4/10	Q8 略优
文件大小	551 MB	774 MB	Q5 更小

选择建议：侧重文学类文本 / 文学常识选 Q5；侧重信息类文本阅读选 Q8。两者总分接近，特长互补。日常使用仍首推 Q4（全面碾压所有版本）。

Ollama 部署

bash

# F32 全精度版
ollama create yuwen-v3 -f Modelfile.f32
ollama run yuwen-v3

# Q4 量化版（推荐日常使用）
ollama create yuwen-v3-q4 -f Modelfile.q4
ollama run yuwen-v3-q4

# Q5 量化版（文学常识强 / 精度平衡）
ollama create yuwen-v3-q5 -f Modelfile.q5_k_m
ollama run yuwen-v3-q5

# Q8 量化版（信息类文本 / 平衡选择）
ollama create yuwen-v3-q8 -f Modelfile.q8_0
ollama run yuwen-v3-q8

Python（Transformers 直接加载）

python

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 加载合并后的完整模型（无需额外加载 LoRA）
model = AutoModelForCausalLM.from_pretrained(
    "lemonbucket/yuwen-v3",
    torch_dtype=torch.float32,
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained("lemonbucket/yuwen-v3")

# 推理
messages = [
    {"role": "system", "content": "你是yuwen-v3，由柠檬桶基于Qwen3.5-0.8B微调的语文模型，擅长语文阅读理解答题。回答要分点作答、术语规范、踩分精准。"},
    {"role": "user", "content": "请分析《荷塘月色》中通感手法的运用。"},
]

text = tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
inputs = tokenizer(text, return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=1024,
    temperature=0.3,
    top_k=20,
    top_p=0.85,
)

print(tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))

系统提示词

你是 yuwen-v3，由柠檬桶基于 Qwen3.5-0.8B 微调的语文模型，擅长语文阅读理解答题。回答要分点作答、术语规范、踩分精准。

关于思考模式 (Thinking Mode)

重要：由于微调时训练数据中未包含思维链 (<think>) 相关内容，模型的思维链输出存在异常。强烈推荐关闭思考模式使用。

所有 GGUF 文件均已通过二进制补丁从根源关闭思考模式（将 chat_template 中 enable_thinking 条件硬编码为 false），无需用户手动配置，开箱即用。

如需了解补丁原理或手动操作，请参阅 关闭模型思考模式指南.md。

许可证

Apache 2.0（继承自 Qwen3.5 基座模型）

使用时需同时遵守 Apache 2.0 协议及 Qwen 模型许可条款。

关于作者

我是刚接触模型微调的新手，初次使用 Hugging Face 平台。如果仓库存在不规范之处，还请通过邮件反馈：575244421@qq.com，不胜感激！

致谢

基座模型：Qwen 系列 by Alibaba Qwen Team
微调框架：HuggingFace Transformers + PEFT
训练者：柠檬桶 (lemonbucket)

场景	推荐版本	文件	理由
⭐ 日常使用 / 部署	Q4 量化版	`yuwen-v3-q4_k_m.gguf` + `Modelfile.q4`	体积仅 F32 的 1/5，评测成绩远优于全精度版
文学常识强 / 精度平衡	Q5 量化版	`yuwen-v3-q5_k_m.gguf` + `Modelfile.q5_k_m`	比 Q4 仅大 9%，5-bit 精度保留更多细节，文学常识突出
信息类文本 / 平衡选择	Q8 量化版	`yuwen-v3-q8_0.gguf` + `Modelfile.q8_0`	信息类选择题全对，体积约为 F32 的 1/3
研究 / 对比	F32 全精度版	`yuwen-v3-f32.gguf` + `Modelfile.f32`	无量化损失，适合基准对比

lemonbucket/yuwen-v3

yuwen-v3: 语文阅读理解专项微调模型 (合并完整版 + GGUF)