Views
No views yet
steven0226/Qwen3-8B-DRCD-zhTW-QA-LoRA 的量化部署版，繁體中文抽取式閱讀理解（extractive QA）。輸出固定 JSON schema：
{"answer": "文中連續原文片段", "answerable": true|false}。已知限制：這個 checkpoint 在 DRCD 抽取式 QA 上表現接近滿分，代價是通用能力小幅退步。 TMMLU+（通用知識選擇題）test split 全量 20,118 題上，macro accuracy 從原廠的 0.5936 掉到 0.5604（Δ = −3.32 個百分點，95% CI [−3.96, −2.69]，配對分層 bootstrap）。退步的型態是選項偏誤而不是知識遺忘：微調後模型選 B 的次數比原廠少 1,946 次、選 D 多 1,889 次，於是 gold 為 B 的題目掉 16.9 個百分點，而 gold 為 D 的題目反而進步 7.7 個 百分點。忘掉知識的模型不會在某個子集上變強。這個偏誤有 45% 校正得回來（160,880 次推論實測）：把四個選項的內容做循環位移、 讓正確答案輪流落在 A/B/C/D 再投票，Δ 從 −3.46 pp 縮到 −1.92 pp，回收 +1.54 pp （95% CI [+0.90, +2.19]）。偏誤撐過了位移（位移後 FT 仍只有 14.7% 選 B、32.2% 選 D）， 確認是位置偏誤而非集成效應。剩下的約 1.9 pp 不能反推為「知識遺忘」——這個實驗只隔離位置偏誤，沒有檢定跟選項 內容綁在一起的偏誤。另外多數決是評分協定、不是模型本身的性質：你直接使用時拿到的 仍是單一順序的行為，投票要付 4 倍推論成本。如果需要保留通用能力，建議：(a) 只在需要精確抽取式 QA 的場景使用這個 adapter， (b) 選擇題場景加上選項順序隨機化的多數投票（實測可回收約四成退步）， (c) 或參考本專案方法論自行用較低 epoch / 加入通用資料混合訓練。
| 檔名 | 量化 | 大小 | 用途 |
|---|---|---|---|
qwen3-8b-drcd-qa-Q8_0.gguf | Q8_0 | ~8.7GB | 近無損參考／驗證用 |
qwen3-8b-drcd-qa-Q4_K_M.gguf | Q4_K_M | ~5.0GB | 建議部署版（4090 本機評估確認量化幾乎零損耗） |
unsloth/Qwen3-8B + LoRA → bf16 merge → f16 GGUF
（convert_hf_to_gguf.py）→ llama-quantize。llama.cpp build commit：a5822222909b785f23ddc74ce3c8f85bd0e38562。| # | 組別 | overall EM | overall F1 | JSON 合法率 |
|---|---|---|---|---|
| 1 | base zero-shot（原廠） | 0.4756 | 0.6858 | 95.62% |
| 2 | base few-shot（3-shot） | 0.8253 | 0.9191 | 99.98% |
| 3 | 本 adapter（未量化 bf16） | 0.9325 | 0.9704 | 100% |
| 4 | 本 GGUF（Q8_0） | 0.9328 | 0.9706 | 100% |
| 5 | 本 GGUF（Q4_K_M，部署建議） | 0.9330 | 0.9700 | 100% |
1llama-server -m qwen3-8b-drcd-qa-Q4_K_M.gguf -ngl 99 -c 4096 --jinja
2# --jinja 讓 llama-server 直接執行 GGUF 內嵌的原生 chat_template（非思考模式）"chat_template_kwargs": {"enable_thinking": false}
（本模型訓練時一律非思考模式；GGUF 內嵌 template 在 enable_thinking=false 時會自動插入
空 <think> block，不需要另外處理）。1ollama create qwen3-8b-drcd-qa -f Modelfile
2ollama run qwen3-8b-drcd-qa --think=falseFROM qwen3-8b-drcd-qa-Q4_K_M.gguf
PARAMETER temperature 0
PARAMETER num_ctx 4096
SYSTEM """你是精確的閱讀理解助手。根據「文章」回答「問題」：
- 答案必須是文章中的連續原文片段，一字不改
- 若文章中找不到答案，answer 填空字串、answerable 填 false
- 只輸出 JSON：{"answer": "...", "answerable": true|false}"""ollama show <model> --template 確認實際套用的
模板，並用 --think=false 關閉思考模式。lms import qwen3-8b-drcd-qa-Q4_K_M.gguf --copy<think> 外洩；建議設定 temperature=0、
context length=4096。unsloth/Qwen3-8B 授權 Apache-2.0，歸屬 Qwen team / unsloth