You can deploy this model and start earning money today!

angwindy/
lab21-2A202601756-qwen35-triage-vi

Views

No views yet

Lab 21 — LoRA fine-tune: CSKH JSON triage (Vietnamese)

Adapter LoRA fine-tuned trên unsloth/Qwen3.5-4B cho bài toán phân loại ticket CSKH tiếng Việt → JSON 4 khoá (intent, urgency, product, sentiment).

Repo này là deliverable phụ (B5 — HuggingFace Hub, +2 điểm thưởng). Code, results, report đầy đủ đặt ở GitHub: https://github.com/angWindy/lab21-2A202601756

Base model

unsloth/Qwen3.5-4B (4B parameters, ChatML, có <think> scaffold)
Tier chạy: T4 (16 GB)
LoRA: r=16, α=32, target=text-linear (text projection), adapter correct

Setup


Dataset	250 ticket CSKH tiếng Việt → JSON triage (split seed 42)
Train / val	225 / 25 (seed 42)
`max_length`	1024 (p95 thực = 98 token; 1024 để chừa headroom cho `<think>` trace dài)
`MASK_MODE`	`assistant-only` — supervise cả block `<think>` lẫn JSON phía sau
Epochs / max_steps	2 epochs / 30 optimizer steps
Optimizer / LR	AdamW, 1e-4 (chuẩn LoRA)

Ba baseline (đo TRƯỚC khi train)

Run	target	regression	format	latency (ms)
(a) base + naive prompt	0.000	0.758	0.000	3223.8
(b) base + optimized prompt	0.765	0.758	1.000	1016.5
(c) LoRA fine-tune	0.970	0.344	1.000	1443.4

Phán quyết: FAILED

Cổng bốn nhóm (target, regression, format, latency):

target Δ = +0.205 ✓ (vượt baseline (b))
regression Δ = −0.413 ✗ (tolerance 0.020; vượt 20× — đây là "general-capability regression")
format = 1.0 ✓
latency = 1443 ms (trong budget T4)

valid_trace_rate = 0.0 — sau khi train, model bỏ luôn block <think> (dấu hiệu overfitting cục bộ).

Khuyến nghị từ deck §14.3: trộn 1–5 % dữ liệu replay (data/eval_regression.jsonl) để giữ regression trong tolerance trước khi deploy.

Bốn thí nghiệm NB4 (cấu hình sai — phân tích)

Run	vị trí	r	trainable	LR	train loss	target	s	VRAM GB
`correct`	text-linear	16	32,464,896	1e-4	0.6259	0.97	955	12.01
`attn_only`	q,v	283 (matched budget)	32,456,704	1e-4	0.538	0.97	809	12.02
`wrong_lr`	text-linear	16	32,464,896	1e-5	1.5704	0.00	949	12.01
`qlora`	text-linear	16	32,464,896	1e-4	0.7058	0.94	1020	7.09

Bài học:

Train loss là proxy nguy hiểm — attn_only thắng train-loss nhưng bằng correct trên target. Memorize ≠ generalize.
LR 1e-5 giết training — loss đi xuống đều nhưng target = 0.00 sau 30 step.
QLoRA tiết kiệm 41 % VRAM (−5 GB), trả 3 % chất lượng (−0.03 target).
Vị trí adapter ≈ rank, ở ngân sách tham số bằng nhau — không có "vị trí nào thắng" rõ ràng, cần eval độc lập.

Định tính (5 ca, có cả thắng lẫn thua)

6/50 ca eval target FT-thua (i ∈ {3, 5, 12, 39, 41, 46}) đều thua đúng một trường: urgency, và thua theo cùng một cách — nhãn đúng là thap nhưng model dự đoán trung_binh. Tất cả 6 ticket chứa cụm "Khi nào tiện" ở cuối câu — đây là perfect predictor trong train (35/250 mẫu, 100 % nhãn thap) nhưng model vẫn không học được quy tắc này ở eval. Bias thống kê của SFT ít mẫu: model học prior ("chọn trung_binh khi không chắc") thay vì quy tắc cụ thể.

Cấu trúc repo này

adapters/correct/        ← PEFT adapter (LoRA) — load bằng PeftModel.from_pretrained
                          ├── adapter_model.safetensors (124 MB)
                          ├── adapter_config.json
                          ├── tokenizer.json / tokenizer_config.json
                          └── chat_template.jinja
results/                 ← 8 file JSON + runs.csv (đầy đủ metrics)
submission/REPORT.md     ← Report đầy đủ (tóm tắt ở trên)
README.md                ← File này (model card)

Cách load adapter

python

from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel

base = AutoModelForCausalLM.from_pretrained(
    "unsloth/Qwen3.5-4B",
    torch_dtype="auto",
    device_map="auto",
)
tok = AutoTokenizer.from_pretrained("angwindy/lab21-2A202601756-qwen35-triage-vi")
model = PeftModel.from_pretrained(
    base,
    "angwindy/lab21-2A202601756-qwen35-triage-vi",
    subfolder="adapters/correct",
)

Kết luận cá nhân

Adapter này không nên deploy ở trạng thái hiện tại. Target 0.97 là cải thiện có ý nghĩa, nhưng regression 0.34 là "thảm hoạ deployment" — model sẽ trả JSON sai schema khi khách hàng hỏi câu kiến thức phổ thông. Đòn bẩy thật sự là chất lượng dữ liệu (thêm replay 1–5 %), không phải vị trí adapter hay learning rate.

MSSV: 2A202601756 · Ngày nộp: 2026-08-22 · Tier: T4