这个模型是稀疏矩阵版本,每个专家的B/C都是稀疏矩阵。 modeling_qwen3_mobe.py是适配于这个bsr格式的推理时候必要文件,魔改了原始模型必须要用这个文件重构expert。 eval_ppl.py是推理时候(计算ppl准确率)的。
python eval_ppl.py --model_path /path/to/reconstructed_model --dataset ptb --dtype bfloat16 --max_length 1024 --stride 512 --device_map auto