get_mobe_tile.py会把所有zmi/Qwen3-30B-MoBE-b16-tile80里面的压缩参数重构,并且替换原始模型的up和gate矩阵为B/C然后保存成一个完整的模型。(重构的时候我们需要calibration data,在另一个文件夹zmi/calibration_cov)
modeling_qwen3_mobe.py是我们魔改的模型推理时候必要的,由于我们已经改变了原始up和gate的样子,所以推理我们不能用原版hf所以自己魔改一个版本。
eval_ppl.py是推理时候(计算ppl准确率)的。
python get_mobe_tile.py --base_model Qwen3/Qwen3-30B-A3B-Instruct-2507
--mobe_dir /path/to/Qwen3-30B-MoBE-b16-tile80
--save_dir /path/to/save/dir
--num_B 32
--num_experts 128
--start_layer 0
--end_layer 48
--dtype bfloat16
--tile_activation 'silu'
--calib_dir /path/to/calibration_cov
python eval_ppl.py
--model_path /path/to/reconstructed_model
--dataset ptb
--dtype bfloat16
--max_length 1024
--stride 512
--device_map auto