项目	值
基座	Qwen/Qwen3.8-27B（BF16）
方法	DAPT（领域适配预训练，纯文本续写，`mlm=False`）
语料	中文小说风格文本清洗版，约 114.6 万字符 ≈ 0.7M tokens
LoRA rank / alpha / dropout	128 / 256 / 0.05
target_modules	q/k/v/o + gate/up/down（16 层全注意力 + 64 层 FFN，不含 GDN 线性注意力层）
可训练参数	638M（2.4%）
lr / 调度	4e-5 / cosine / warmup 50 步
batch	1 × grad_accum 8
序列长度	4096
精度	BF16 + 梯度检查点

文件清单

文件	说明
`adapter_model.safetensors`	LoRA 权重 step-102（FP32，rank 128）——transformers/PEFT 直接加载
`adapter_config.json`	PEFT 配置（step-102）
`qwen3.8-27b-cn-taste-q8_0.gguf`	step-102 量化版（Q8_0，677MB）——llama.cpp 直接挂载
`adapter-119_model.safetensors`	step-119 备选权重（FP32）——风格浓度更高
`qwen3.8-27b-cn-taste-step-119-q8_0.gguf`	step-119 量化版（Q8_0，677MB）

使用方式

llama.cpp（推荐——推理）

step-102：

bash

llama-server -m Qwen3.8-27B-ABLITERATED-Q4_K_M.gguf \
  --lora qwen3.8-27b-cn-taste-q8_0.gguf \
  -ngl 99 -c 262144 --reasoning on

step-119（味道更浓）：

bash

llama-server -m Qwen3.8-27B-ABLITERATED-Q4_K_M.gguf \
  --lora qwen3.8-27b-cn-taste-step-119-q8_0.gguf \
  -ngl 99 -c 262144 --reasoning on

transformers / PEFT

python

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3.8-27B", torch_dtype="bfloat16")
model = PeftModel.from_pretrained(model, "Moeblack/Qwen3.8-27B-chinese-taste-lora")  # step-102 默认
# model = PeftModel.from_pretrained(model, "Moeblack/Qwen3.8-27B-chinese-taste-lora", adapter_name="119",
#                                  subfolder="step-119")  # 需要时用 119

实测效果

同一问题，基座 vs LoRA 的对比（普通问答场景，非创作）：

问：太阳来自哪里？

基座（无 LoRA）	LoRA step-102
「太阳并不是从某个'地方'来的，它是在约 46 亿年前由一团原始气体和尘埃云（分子云）在自身引力作用下坍缩形成的……」	「太阳位于太阳系的中心。如果问的是"太阳是从哪里来的"，它大约形成于 46 亿年前，由一片巨大的分子云/太阳星云在自身引力作用下坍缩、聚集物质而形成……」

基座回答带着「并不是……它是……」的英文转折结构（It's not... it's... 直译痕迹）；LoRA 版直接自然、口语松弛。

基座	LoRA step-102
基座回答	LoRA 回答

说明

训练语料为网络整理文本，可能存在少量错字
本 LoRA 面向中文小说风格创作与中文语感增强，生成内容属虚构创作范畴