Views
No views yet
狀態:持續訓練中,尚未定版。 這份說明會隨訓練進度更新,目前的 adapter 是階段性成果,行為還沒有完全穩定
r=16, alpha=32,作用在 attention 的 q_proj / k_proj / v_proj / o_proj)training_data.jsonl,目前 1843 筆問答與對話範例,涵蓋上面四大類能力app.py,因為 ZeroGPU 單次呼叫有執行時間上限,設計成「一次訓練一小批(20 step)→ 存回 adapter → 下次接續訓練」的方式逐步累積| 批次 | 累積 step | 平均 loss |
|---|---|---|
| 1 | 20 | 2.8127 |
| 2 | 40 | 1.0893 |
| 3 | 60 | 0.6646 |