SnifferCaptain/

YModel2-s-2

模型描述

模型细节

• 模型借鉴了MFA（ https://arxiv.org/abs/2412.19255 ）的优化思路，将PEGA（Position Embedding Gate Attention）升级到了PEGA2版本，在性能持平甚至超越PEGA的同时，带来了接近3x的速度提升。
• 模型在FFN部分采用了GeGLU。

训练细节

• 模型继承了YModel1.1的自蒸馏结构，在层间设置余弦相似度损失，使得模型倾向于将知识压缩到浅层。
• 模型将并行的线性层融合，经二阶优化器实验显示模型最终效果不会与不融合的情况更差。
• 模型采用最强大的SiMuon优化器训练。SiMuon是从Muon（ https://kellerjordan.github.io/posts/muon ）改进得到的（ https://www.arxiv.org/abs/2507.11005 ）。这个模型使用的SiMuon与原始的Muon以下区别：1：在执行NS操作的l2 norm前，执行sign操作。2：将NS迭代从5步减少到2步。
• 模型的tokenlizer与词嵌入层使用的是预训练权重，来自MiniMind2（ https://github.com/jingyaogong/minimind ）
• 模型在预训练阶段训练了0.4B token，在微调阶段训练了约7B token（8.56M样本）。
• 模型在512长度上进行预训练，学习率为1e-3（SiMuon，使用0.2*sqrt(max(fan in, fan out))进行学习率缩放）与1e-4（AdamW）。采用bf16 amp加速。
• 模型在512/1e-5、1024/1e-5、2048/1e-5、2048/2e-6（长度/学习率、SiMuon学习率为基础学习率的66x倍）上进行sft微调。采用bf16 amp加速。

Model Description

Model Details

• The model incorporates optimization insights from MFA (https://arxiv.org/abs/2412.19255), upgrading Position Embedding Gate Attention (PEGA) to PEGA2. This new version matches or even exceeds the original PEGA in performance while delivering nearly a 3× speedup.
• The model employs GeGLU in its Feed-Forward Network (FFN) blocks.

Training Details

• The model inherits the self-distillation architecture from YModel1.1, applying an inter-layer cosine similarity loss that encourages the model to compress knowledge into shallower layers.
• Parallel linear layers have been fused. Experiments with second-order optimizers confirm that this fusion does not degrade the model’s final performance compared to the unfused counterpart.
• The model was trained using the powerful SiMuon optimizer, an enhanced variant of Muon (https://kellerjordan.github.io/posts/muon) as described in (https://www.arxiv.org/abs/2507.11005). The SiMuon implementation used here differs from the original Muon in two key aspects:
  1. A sign operation is applied before the L2 norm in the Newton-Schulz (NS) iteration.
  2. The number of NS iterations is reduced from 5 to 2.
• The tokenizer and embedding layers are initialized with pre-trained weights from MiniMind2 (https://github.com/jingyaogong/minimind).
• The model was trained on 0.4 billion tokens during pre-training and approximately 7 billion tokens (8.56 million samples) during fine-tuning.
• Pre-training was conducted with a sequence length of 512, using a learning rate of 1e-3 for SiMuon (scaled by 0.2 * sqrt(max(fan_in, fan_out))) and 1e-4 for AdamW, with bf16 automatic mixed precision (AMP) acceleration.
• Supervised Fine-Tuning (SFT) was performed at the following sequence length / learning rate combinations: 512/1e-5, 1024/1e-5, 2048/1e-5, and 2048/2e-6. The SiMuon learning rate was set to 66× the base learning rate. bf16 AMP was also used for acceleration during SFT.

模型性能 Model Performance

1. 水生动物：大熊猫通常在树上生长，如大熊猫、老虎和猪等。它们生活在森林中，水生动物是最常见的食物来源之一。
2. 栖息地：大熊猫的体重较小，如大熊猫、大熊猫、大熊猫等。它们生活在树上，生活在森林中，如熊猫、大熊猫、大熊猫等。
3. 竹子：竹子是竹子，它们生活在森林中，竹子可以生活在树上。竹子通常在树上生长，但它们生活在森林中，竹子可能在树上生长。
4. 栖息地：竹子是竹子中最常见的种类，它们生活在树上，如树枝、草、竹子等。它们生活在森林中，竹子会在树下生长，以树上生长，并繁殖。
5. 竹子：竹子是一种竹子，竹子通常在树上生长，而竹子则是竹子，竹子是竹子。竹子通常在树上生长，竹子则是竹子。竹子通常在树上生长，竹子则是竹子。竹子通常在树上生长，竹子则是竹子，竹子也在树上生长。
   这些食物不仅丰富了竹子，也对全球生态系统产生了深远的影响。

1. 温度：海水的冷却速度非常快，这使得海水温度会更快地蒸发，从而影响海洋中的生物体系。
2. 温度：海水的温度较低，这使得海水的温度相对较低，这使得海水的温度更高，这对于海水的生物多样性非常重要。
3. 海水温度：海水的温度较高，这使得海水的温度增加，这对于海水的生态系统具有重要意义。
4. 海洋生物：海水的存在也对海洋生物的生存和繁衍有重要影响，这对于维持海洋生态系统的稳定性和生物多样性至关重要。
   综上所述，海水的温度通常是由于海水的直接或间接因素导致的浮力减弱，这对海洋生态系统、海洋生物、海洋生物以及人类活动等多个方面产生深远的影响。