BioGHSSM
Bio-inspired Gated Hierarchical State Space Model for Continual Learning
模型简介
BioGHSSM 将生物启发的门控机制融入层级状态空间模型，实现持续学习中的灾难性遗忘防护。
核心创新
- 向量化 SSM：矩阵计算替代 for 循环，推理速度提升 70 倍
- 外部记忆模块：独立存储任务知识，5 任务后 PPL 稳定在 215-218
- Wake-Sleep 课程学习：drift 稳定在 0.0001~0.0005 量级
- 无遗忘恢复：Char-level PTB 训练后完整记忆恢复（负遗忘 -116.85 PPL）
模型规格
| 参数 | 值 |
|---|
| 参数量 | 0.5M ~ 1.5M |
| 隐藏维度 | 256 |
| SSM维度 | 64 |
| 层数 | 4 |
| 词汇表 | 1000 |
快速使用
```python
from model import BioGHSSM
ONNX 推理（无需 PyTorch）
model = BioGHSSM.load_onnx('bio_ghssm_wikitext2.onnx')
output = model(input_ids)
```
文件说明
model/bio_ghssm_wikitext2.onnx - 可部署 ONNX 模型 (3MB)model/wikitext2_bio_ghssm_merged.pt - PyTorch 完整权重docs/PAPER.md - 论文框架docs/RESULTS.md - 实验结果scripts/train_wikitext2.py - 训练脚本
实验结果
- WikiText-2 (5 tasks × 3 epochs): PPL = 1059
- 外部记忆持续学习 (5 tasks): PPL 稳定 215~218
- Char-level PTB: 负遗忘 -116.85 PPL（完整记忆恢复）
