Views
No views yet
google/gemma-4-E2B-it-qat-q4_0-unquantized. Chỉ các tham số của module DGMC được
huấn luyện (dgmc_params/1e6:.1fM tham số).| Model | Method | Trainable Params | Accuracy | F1 Macro |
|---|---|---|---|---|
| Gemma (Zero-Shot) | Next-token logit scoring | 0 | 75.73% | 0.7561 |
| Gemma + DGMC | DGMC fine-tuned (LM) | 28.3M | 77.20% | 0.7719 |
block_size: 64memory_dim: 1536decay_alpha: 0.1dgmc_piqa_weights.pt rồi load lại vào module DGMC tương ứng với
kiến trúc trong notebook huấn luyện gốc:1import torch
2ckpt = torch.load("dgmc_piqa_weights.pt", map_location="cpu")
3dgmc.load_state_dict(ckpt["dgmc_state_dict"])google/gemma-4-E2B-it-qat-q4_0-unquantized cần được tải riêng và giữ đóng băng (frozen);
adapter DGMC này chỉ bổ sung một module memory consolidation nhẹ, không thay
thế attention gốc của model.