数学多模态大模型实验集合 (Math Multimodal Models)

模型描述

各实验模型（Revisions）详解

• EXP_1.1
  • 训练方式: SFT (Supervised Fine-Tuning)，使用默认的长思维链（long CoT）进行训练。
  • 数据集: Vision-R1 (5w) + multimodal-open-r1-8k-verified (8k)。
• EXP_1.2
  • 训练方式: SFT，使用长思维链（long CoT），但格式为 solution。
  • 数据集: multimodal-open-r1-8k-verified (8k)。
• EXP_2.1
  • 训练方式: SFT。
  • 数据集: OpenR1-Math-220k (9.5w) + multimodal-open-r1-8k-verified (8k)。
• EXP_3.1
  • 训练方式: 使用短思维链（short CoT），格式为 original_answer。
  • 数据集: multimodal-open-r1-8k-verified (8k)。
• EXP_3.2
  • 训练方式: MIX（混合训练策略）。
  • 数据集: multimodal-open-r1-8k-verified (8k)。
• EXP_4.1
  • 训练方式: RL (Reinforcement Learning)，针对修改格式进行了优化。
  • 数据集: multimodal-open-r1-8k-verified (8k) + geometry3k (3k)。
  • 备注: 此模型在 MathVista 上取得了本次实验中的最佳性能。
• EXP_4.2
  • 训练方式: SFT。
  • 数据集: multimodal-open-r1-8k-verified (8k) + geometry3k (3k)。
• EXP_4.3
  • 训练方式: 混合策略。在 8k 数据集上进行 SFT 冷启动，在 3k 数据集上使用 GRPO。
  • 数据集: multimodal-open-r1-8k-verified (8k) + geometry3k (3k)。