Views
No views yet
| 项 | 值 |
|---|---|
| 微调方法 | LoRA |
| 量化等级 | 4 |
| 量化方法 | bnb |
| 对话模板 | lfm2 |
| 训练阶段 | Pre-Training |
| 学习率 | 4.5e-4 |
| 训练轮数 | 1.0 |
| 计算类型 | pure_bf16 |
| 截断长度 | 1968 |
| 批处理大小 | 4 |
| 梯度累积 | 256 |
| 验证集比例 | 0.05 |
| 序列打包 | True |
| 额外参数 | {"optim": "paged_adamw_8bit"} |
| LoRA秩 | 16 |
| LoRA缩放系数 | 32 |
| 项 | 值 |
|---|---|
| 输入Token | 158,319,896 |
| 计算量 | 254,539,784GF |
| 训练损失 | 3.8676 |
| 训练耗时 | 9:52:32.56 |
| 每秒训练样本数 | 2.264 |
| 每秒训练步数 | 0.002 |
| 验证损失 | 3.5849 |
| 验证困惑度 | 36.0495 |
| 验证耗时 | 0:12:56.50 |
| 每秒验证样本数 | 5.525 |
| 每秒验证步数 | 1.382 |
