Views
No views yet
winogrande_debiased), gắn thêm vào mô hình nền tảng đóng băng hoàn toàn
google/gemma-4-E2B-it-qat-q4_0-unquantized. Chỉ các tham số của module DGMC được huấn luyện
(28.3M tham số).| Model | Method | Trainable Params | Accuracy | F1 Macro |
|---|---|---|---|---|
| Gemma (Zero-Shot) | Next-token logit scoring | 0 | 56.83% | 0.5468 |
| Gemma + DGMC | DGMC fine-tuned (LM) | 28.3M | 57.70% | 0.5763 |
block_size: 64memory_dim: 1536decay_alpha: 0.1dgmc_winogrande_weights.pt rồi load lại vào module DGMC tương ứng với
kiến trúc trong notebook huấn luyện gốc:1import torch
2ckpt = torch.load("dgmc_winogrande_weights.pt", map_location="cpu")
3dgmc.load_state_dict(ckpt["dgmc_state_dict"])google/gemma-4-E2B-it-qat-q4_0-unquantized cần được tải riêng và giữ đóng băng (frozen);
adapter DGMC này chỉ bổ sung một module memory consolidation nhẹ, không thay
thế attention gốc của model.