Views
No views yet
google/gemma-4-E2B-it-qat-q4_0-unquantized. Chỉ các tham số của module DGMC được
huấn luyện (28.3M tham số). Bài toán là trắc nghiệm xã hội
3 lựa chọn (A/B/C) dựa trên context + question.| Model | Method | Trainable Params | Accuracy | F1 Macro |
|---|---|---|---|---|
| Gemma (Zero-Shot) | Next-token logit scoring | 0 | 67.81% | 0.6777 |
| Gemma + DGMC | DGMC fine-tuned (LM) | 28.3M | 67.30% | 0.6730 |
block_size: 64memory_dim: 1536decay_alpha: 0.1dgmc_siqa_weights.pt rồi load lại vào module DGMC tương ứng với
kiến trúc trong notebook huấn luyện gốc:1import torch
2ckpt = torch.load("dgmc_siqa_weights.pt", map_location="cpu")
3dgmc.load_state_dict(ckpt["dgmc_state_dict"])google/gemma-4-E2B-it-qat-q4_0-unquantized cần được tải riêng và giữ đóng băng (frozen);
adapter DGMC này chỉ bổ sung một module memory consolidation nhẹ, không thay
thế attention gốc của model.