import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import PeftModel

BASE = "Qwen/Qwen3-8B"
ADAPTER = "PhalSyta/AniCoord-Qwen3-8B-QLoRA-v1"

# 4-bit 加载底座，再挂上 LoRA 适配器
bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4",
                         bnb_4bit_use_double_quant=True, bnb_4bit_compute_dtype=torch.bfloat16)
tok = AutoTokenizer.from_pretrained(ADAPTER)
model = AutoModelForCausalLM.from_pretrained(BASE, quantization_config=bnb, device_map="auto")
model = PeftModel.from_pretrained(model, ADAPTER).eval()

# 完整 prompt 见代码仓库 src/annotation/prompt.py，这里仅示意
msg = [{"role": "user", "content": "判断这条动画短评并输出 JSON：「作画神，分镜也讲究，就是节奏后半段崩了」"}]
# enable_thinking=False 关闭 Qwen3 思考链，确保直接输出 JSON
text = tok.apply_chat_template(msg, tokenize=False, add_generation_prompt=True, enable_thinking=False)
inputs = tok(text, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=128, do_sample=False)  # 贪心解码，输出稳定
# 只解码新生成的部分（切掉输入）
print(tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

局限性

评分维度具有较强主观性，输出为相对参考，不代表对作品质量的判断。
标签源自 Gemini，模型继承其偏置；遇到训练分布外的题材或风格时可能偏移。
仅针对中文短文本短评优化，长文本/影评效果未验证。

许可

适配器以 Apache-2.0 发布；底座模型遵循 Qwen/Qwen3-8B 自身的许可协议。