Views
No views yet
| 模型 | TNEWS 准确率 | 对比 |
|---|---|---|
| BERT-base | 56.1% | 本模型更高 +6.3% |
| RoBERTa-large | 58.4% | 本模型更高 +4.0% |
| ERNIE 3.0 | 59.5% | 本模型更高 +2.9% |
| ERNIE 3.0 Titan (260B) | 60.1% | 本模型更高 +2.3% |
| 本模型 (Qwen3-8B LoRA) | 62.4% | 超越 SOTA ✅ |
| GPT-4 | ~68% | 略低 -5.6% |
| 步数 | eval_loss | 变化 |
|---|---|---|
| 100 | 0.856 | - |
| 300 | 0.823 | -0.033 |
| 500 | 0.811 | -0.012 |
| 1000 | 0.798 | -0.013 |
| 2000 | 0.783 | -0.015 |
| 3000 | ~0.78 | 基本收敛 |
| 模型 | 输出质量 | 格式 |
|---|---|---|
| 基础模型 | ✅ 能识别，输出冗长 | ❌ 不直接输出JSON |
| 微调模型 | ✅ 能识别，输出简洁 | ✅ 直接输出JSON |
| 参数 | 值 |
|---|---|
| 基础模型 | Qwen/Qwen3-8B |
| 参数量 | 8B |
| 微调方法 | LoRA |
| LoRA rank | 64 |
| LoRA alpha | 128 |
| LoRA dropout | 0.05 |
| Target modules | q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj |
| 参数 | 值 |
|---|---|
| Epochs | 3 |
| Batch size | 8 |
| Gradient accumulation | 2 |
| Effective batch size | 16 |
| Learning rate | 5e-5 |
| LR scheduler | Cosine |
| Warmup ratio | 0.03 |
| Optimizer | AdamW |
| Weight decay | 0.01 |
| Max grad norm | 1.0 |
1from transformers import AutoModelForCausalLM, AutoTokenizer
2
3model = AutoModelForCausalLM.from_pretrained(
4 "guoer9/qwen3-8b-news-classifier",
5 device_map="auto",
6 torch_dtype="auto"
7)
8tokenizer = AutoTokenizer.from_pretrained("guoer9/qwen3-8b-news-classifier")
9
10messages = [
11 {"role": "user", "content": "请对以下新闻进行分类：央行今日宣布降息25个基点，市场反应积极。"}
12]
13text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
14inputs = tokenizer(text, return_tensors="pt").to(model.device)
15outputs = model.generate(**inputs, max_new_tokens=50)
16print(tokenizer.decode(outputs[0], skip_special_tokens=True))| 任务 | 基础模型 | 微调模型 | 专业模型 |
|---|---|---|---|
| 新闻分类 | ~40% | 62.4% ✅ | 60% (ERNIE) |
| 实体识别 | 格式差 | 格式好 ✅ | 90%+ (专业NER) |