import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "wnwu/Qwen3.5-9B-gelv-poet"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_name, device_map="auto", torch_dtype=torch.bfloat16, trust_remote_code=True,
)
model.eval()

SYSTEM_PROMPT = (
    "你是一位精通中国古典诗词格律的诗人。你严格遵循平仄格律规则，"
    "擅长创作五言律诗、七言律诗、五言绝句、七言绝句等格律诗。"
    "你熟知「二四六分明」的平仄规则，懂得对仗、押韵的要求。"
)

messages = [
    {"role": "system", "content": SYSTEM_PROMPT},
    {"role": "user", "content": "请以「秋夜」为题，写一首严格符合格律的七言律诗。\n\n请直接输出诗句。"},
]
text = tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True, enable_thinking=False,
)
inputs = tokenizer(text, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model.generate(
        **inputs, max_new_tokens=256, temperature=0.7,
        top_p=0.9, top_k=50, do_sample=True, repetition_penalty=1.15,
    )
new_tokens = outputs[0][inputs["input_ids"].shape[1]:]
print(tokenizer.decode(new_tokens, skip_special_tokens=True))

交互式推理

python inference.py --model wnwu/Qwen3.5-9B-gelv-poet

Ollama (GGUF)

GGUF Q8_0 量化版本可从本仓库的 gguf 分支下载。

生成示例

七言绝句「塞下曲」：

寒塞無因見落梅，胡人吹入內宮來。君恩如水東流去，應與春風豈復迴。

五言律诗「山居」：

欲出還中止，微陰却快晴。檻花栽盡活，籠鳥教初鳴。身寄江湖久，心知富貴輕。還家雖有日，遠宦尚餘生。

五言绝句「雪夜」：

酒力欺寒淺，心清睡較遲。梅花擎雪影，和月度疏籬。