zswzswzsw/

grpo_offline

grpo的离线设置 主要环境： torch==2.5.1 vllm==0.7.0 transformers==4.49.0 文件中有trl-0.15.2版本，所以无需下载trl，但其它依赖库可能需要

我的环境先是下载了trl-0.12.2及其依赖库，跑通了kto后，把上面的主要库对应版本重新安装即可运行

主要改动： trl/trainer/grpo_trainer.py