You can deploy this model and start earning money today!

wzx111/
Qwen3-1.7B-GRPO-math

Name: Qwen3-1.7B-GRPO-math
Availability: InStock

Views

No views yet

VERL ADPO: qwen3-1.7b-grpo-wzx-4gpu

本模型由 VERL (Ray PPO/ADPO) 训练生成，并在训练结束自动上传。

基础模型: Qwen/Qwen3-1.7B
训练框架: VERL (Ray + FSDP + vLLM)
任务: qwen3-1.7b-grpo-wzx-4gpu
总 Epoch: 2
精度: bfloat16
优势估计: grpo (use_q_centering=True, use_kde_advantage=False, scale_rewards=False)
采样并发: rollout.n=8, max_num_seqs=300, gpu_memory_utilization=0.4
训练批量: ppo_mini_batch_size=24, ppo_micro_batch_size_per_gpu=6
自适应温度: adaptive_tau_beta=None

快速使用

python

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("wzx111/Qwen3-1.7B-GRPO-math")
tokenizer = AutoTokenizer.from_pretrained("wzx111/Qwen3-1.7B-GRPO-math")
print(model.config)

训练摘要

Global step: 175
检查点目录: global_step_175/actor/

许可与责任

请遵循上游基础模型与数据集的许可条款。本模型卡由 VERL 自动生成。