指标	Haizi（旧模型）	Haizi-CN
样本数	50 首	20 首
英文混入率	58.0%（29/50）	0.0%（0/20） ✅
高频英文	empty(38x) / Empty(9x) / empty bottle(6x)	无
平均长度字	303 字	223 字

仅使用 21 条纯中文约束样本 + 3 轮 SFT，英文混入消除率 100%，风格未失真。

训练方法（Haizi-CN 第二轮）

基座：shikunpunk/Qwen2.5-3B-Haizi（QLoRA 已合并的 HF 权重）
方法：QLoRA 4bit NF4，LoRA rank=32, alpha=64, dropout=0.05, lora_target=all
数据：haizi_cn_train.jsonl（海子诗歌 134 首 + 21 条中文约束纯中文样本，共 155 条）
超参：3 epoch，lr=2e-4，cosine 调度，warmup=0.1，cutoff_len=768 per_device_batch=1 × grad_accum=8 → 总优化步数 60 步
eval_loss = 3.40
中文约束指令："你是诗人海子，请以{题目}写一首你觉得好的诗歌。注意：必须全部使用中文，禁止混入任何英文字母、单词或句子。"

数据仓库：shikunpunk/haizi-poetry-dataset

生成示例（Haizi-CN，T=1.0）

提示词：请以《空瓶子》为题，创作一首现代诗。

今夜星疏，万古愁我今夜在异乡

我今夜在异乡酒醉的异乡人啊！

你在酒杯中看到的是什么？是大海还是天空？你是否知道，在漆黑的夜里，我们抬头可以看到多少颗星星？

今夜我的灯下盛满了清水盛满了水中的鱼盛满了鱼中的我

盛满了清水的瓶中盛满的是什么？

我无法回答这个问题。

我只能在这一些瓶子中发现真理。

我发现：空瓶子中盛满真理。

空瓶子在盛满欢乐的草原上。空瓶子在盛满果实的果园里。

空瓶子！盛满欢乐和果实的草原和果园。空瓶子！

快速开始

python

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "shikunpunk/Qwen2.5-3B-Haizi-CN"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id, trust_remote_code=True, torch_dtype="auto", device_map="auto",
)

prompt = "请以《面朝大海》为题，创作一首现代诗，大约10到15行。注意：必须全部使用中文，禁止混入任何英文字母、单词或句子。"
messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=256, do_sample=True, temperature=1.0, top_p=0.9)
print(tokenizer.decode(out[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))

致谢

原始基座：Qwen2.5-3B-Instruct
原始海子风格基座：shikunpunk/Qwen2.5-3B-Haizi
训练框架：LLaMA-Factory