Views
No views yet
product, issue_type, urgency, sentiment). Train trong một lab có kiểm soát —
mọi con số dưới đây đo được và tái lập được, kể cả con số xấu.| Run | target | regression | format | latency (ms/mẫu) |
|---|---|---|---|---|
| base + prompt naive | 0.000 | 0.7244 | 0.0 | 2885.4 |
| base + prompt tối ưu | 0.755 | 0.7244 | 1.0 | 774.2 |
| adapter này | 0.975 | 0.4667 | 1.0 | 1246.8 |
+0.220 so với prompt tốt nhất,
nhưng năng lực tổng quát (15 câu hỏi phổ thông, keyword recall) tụt -0.258 —
gấp ~13 lần biên cho phép 0.02, nên phán quyết của lab là FAILED.
Nguyên nhân: 100% dữ liệu train là một task duy nhất, không có replay data. Đây là quên thảm hoạ
(catastrophic forgetting) đo được, không phải suy đoán.-0.258. Merge không làm mất điểm task đích
(0.975 → 0.975, delta 0.0), nên cách ship đúng là
hot-swap theo endpoint: route triage nạp adapter, mọi route khác dùng base weight.1from peft import PeftModel
2from transformers import AutoModelForCausalLM, AutoTokenizer
3
4base = AutoModelForCausalLM.from_pretrained("unsloth/Qwen3.5-4B", torch_dtype="bfloat16", device_map="auto")
5tok = AutoTokenizer.from_pretrained("unsloth/Qwen3.5-4B")
6model = PeftModel.from_pretrained(base, "mustela410/lab21-qwen35-triage-lora") # bỏ dòng này = quay về base| placement | text-linear (12 module, không gắn vào vision tower) |
| rank / alpha | r=16 / alpha=32 (alpha = 2r) |
| tham số train được | 32,464,896 |
| learning rate | 0.0001 (thang LoRA; 1e-5 kiểu full-FT cho target 0.000) |
| precision | bf16, 4-bit: False |
| max_steps | 30 (dùng chung cho cả 4 run để so sánh công bằng) |
| loss mask | assistant-only, supervised_fraction = 0.4149 (chứng minh bằng decode ngược) |
| final_loss | 0.3508 · train 860.4 s · peak VRAM 12.01 GB |
final_loss không phải thước xếp hạng: run QLoRA cùng lab có loss xấu hơn (0.3550) nhưng
target cao hơn (0.985).urgency còn sai một quy ước
từ vựng: các ticket lịch sự không có mốc thời gian ("Mong shop phản hồi") bị dự đoán thap
trong khi nhãn là trung_binh — 5/50 lỗi còn lại đều thuộc đúng lớp này.submission/REPORT.md
trong repo code.