Base: Qwen/Qwen3-8B
Base revision used for the formal run: b968826d9c46dd6066d109eabc6255188de91218
PEFT LoRA rank 8, alpha 16, dropout 0.05
Target modules: q/k/v/o and gate/up/down projections
Adapter SHA-256: 10a5278100bec42de4760dce89e2496e0a04be9a5034cd262d76910bb6ec1bb8

Training and evaluation

训练答案由本地 Qwen3-8B 在原始口播事实边界内合成，再经过长度、重复和元话术过滤。原始媒体、转写和训练 JSONL 没有上传到 Hub。618 个候选保留 615 个，训练/验证/测试为 492/62/61。

Blind test loss: 1.6769
Mean token accuracy: 0.5867
Mean target character error: 270.5 (base) → 51.5 (LoRA)
512-token cap hits: 29/61 (base) → 0/61 (LoRA)
Character TF-IDF style-centroid cosine: 0.1668 (base) → 0.1521 (LoRA)
Exact 20-character training-copy ratio: 0

风格余弦没有提升，因此结果只支持长度/格式控制和定性节奏迁移，不能笼统宣称所有风格指标变好。完整记录位于 douyin-style-lab。

Usage

python

import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base_id = "Qwen/Qwen3-8B"
adapter_id = "jiaqianjing/qwen3-8b-douyin-chat-style-lora"

tokenizer = AutoTokenizer.from_pretrained(base_id)
base = AutoModelForCausalLM.from_pretrained(base_id, dtype=torch.bfloat16)
model = PeftModel.from_pretrained(base, adapter_id).to("cuda").eval()

messages = [
    {
        "role": "system",
        "content": "自然、有节奏地回答；不要冒充真实人物，不确定时明确说明。",
    },
    {"role": "user", "content": "为什么宇宙里没有声音？"},
]
text = tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True, enable_thinking=False
)
inputs = tokenizer(text, return_tensors="pt").to("cuda")
output = model.generate(**inputs, max_new_tokens=512, temperature=0.7, do_sample=True)
print(tokenizer.decode(output[0, inputs.input_ids.shape[1]:], skip_special_tokens=True))

Limitations

合成答案继承原始口播事实边界，也可能继承其中的错误。
它不具备检索或事实核验能力；科普、健康、法律、金融等内容必须另行核验。
字符分布代理指标没有证明全面的风格相似度提升。
训练规模较小，未进行 DPO、GRPO 或大规模人工盲评。

License and data note

Qwen3-8B 基座遵循其原始许可证。本 adapter 以 license: other 发布：权重可用于研究和上述辅助创作场景，但本发布不授予任何第三方原始内容的权利，也不表示真实创作者认可或参与了本模型。使用者必须自行确认具体用途所需的权利和合规义务。