Views
No views yet
gutoportelaa/qwen2.5-1.5b-dompi-fullft-unificado.Qwen/Qwen2.5-1.5B sobre o DOM-PI (Diário Oficial dos
Municípios do Piauí). Resultados no held-out, com o objetivo de treino corrigido:| Implementação | Corpus | held-out PPL | Δ vs baseline |
|---|---|---|---|
| Baseline Qwen2.5-1.5B | — | 10,03 (unif) / 6,91 (Teresina) | — |
| Full FT — dataset COMPLETO (v2) | DOM-PI unificado | 8,90 | −11,3% ✓ |
| Full FT Teresina v3 | Teresina curado | 6,02 | −12,9% ✓ |
| QLoRA — dataset completo (v2) | DOM-PI unificado | 9,88 | −1,4% |
labels (block[1:]) e o modelo HuggingFace também desloca
internamente, fazendo o treino otimizar "prever o token 2 posições à frente". Isso
inflava a loss de treino para ~11 e dava resultados degradados (full FT unificado
parecia +121%, e o QLoRA "vencia" com +4,4%). Corrigido o alinhamento
(input_ids == labels), o full FT unificado foi de +121% → −11,3% e passou a
superar o PEFT — invertendo a conclusão obtida sob o bug.