Views
No views yet
2025 年 7 月 24 日更新模型 ，支持在题目中使用科学计数法，例如95-7.16219e+5。
2025 年 7 月 24 日新增：添加了 3M 的科学计数法数据进行训练，然后测试了 440 条科学计数法数据，该类数据正确率达到 94.55%。
| 文件名 | 测试数据条数 | 正确条数 | 正确率 (%) |
|---|---|---|---|
| X_ch_en_mix_test_v2 | 500 | 499 | 99.80% |
| X_ch_en_mix_test_v1 | 100 | 100 | 100.00% |
| ADD_use-connect_test | 500 | 487 | 97.40% |
| X_ch_mix_test | 500 | 499 | 99.80% |
| X_ch_mix_test_hard | 500 | 500 | 100.00% |
| ADD_en_mix_test | 488 | 487 | 99.80% |
| ADD_en_test | 491 | 488 | 99.39% |
| ADD_base_test | 500 | 500 | 100.00% |
| ADD_en_base_test | 500 | 500 | 100.00% |
| ADD_many0_test_v1 | 50 | 50 | 100.00% |
| ADD_many0_test_v2 | 500 | 498 | 99.60% |
| ADD_test | 499 | 497 | 99.60% |
| ADD_test_hard | 463 | 457 | 98.70% |
| ADD_random_test | 1000 | 997 | 99.70% |
| Test_sci.jsonl | 440 | 416 | 94.55% |
| 全部文件 | 7131 | 7075 | 99.21% |
Test.ipynb 测试脚本。训练基于 RWKV-LM 仓库，完整的训练教程可见：RWKV 预训练教程
MODEL_TYPE="x070"
N_LAYER="12"
N_EMBD="768"
CTX_LEN="1024"
PROJ_DIR="out/L"$N_LAYER"-D"$N_EMBD"-"$MODEL_TYPE
M_BSZ="16"
LR_INIT="6e-4"
LR_FINAL="1e-5"
GRAD_CP=1
EPOCH_SAVE=1
N_NODE=1
GPU_PER_NODE=1
DS_BUCKET_MB=2
python train.py --load_model "0" --wandb "ArithmeticTest" --proj_dir $PROJ_DIR --my_testing $MODEL_TYPE \
--ctx_len $CTX_LEN --train_stage 3 --epoch_count 999999 --epoch_begin 0 \
--data_file "/home/rwkv/RWKV-LM/RWKV-v5/qa_add_v2.2-30M" --my_exit_tokens 1014434168 --magic_prime 990599 \
--num_nodes $N_NODE --micro_bsz $M_BSZ --n_layer $N_LAYER --n_embd $N_EMBD \
--lr_init $LR_INIT --lr_final $LR_FINAL --warmup_steps 10 --beta1 0.9 --beta2 0.99 --adam_eps 1e-18 --data_type "binidx" --vocab_size 65536 \
--weight_decay 0.001 --epoch_save $EPOCH_SAVE --head_size 64 \
--accelerator gpu --devices $GPU_PER_NODE --precision bf16 --strategy deepspeed_stage_2 --grad_cp $GRAD_CP --enable_progress_bar True --ds_bucket_mb $DS_BUCKET_MB