You can deploy this model and start earning money today!

omeia/
image

Views

No views yet

GUI-Gym GRPO Patched Docker Image

已包含所有训练修复补丁的容器镜像，用于环境迁移。

镜像信息

字段	值
镜像名	`gui-gym-grpo:patched-20260514-2032`
SHA256	`cde655d9b8be2c5247b6ccea1c7d6a4e1e797028cac21b075c88d2a076b0c4dc`
Virtual size	54.6 GB
文件	`/nvme/chengweihua/image/gui-gym-grpo-patched-20260514-2032.tar.gz`
基础镜像	`roll-registry.cn-hangzhou.cr.aliyuncs.com/roll/pytorch:nvcr-25.11-py3-torch2100-mcore0160dev-vllm016dev`

包含的修改

1. 代码 Patches（已生效到镜像内）

Patch	文件	作用
`clip_grads` TE 导入 fallback	`/workspace/third_party/Megatron-LM/megatron/core/optimizer/clip_grads.py`	修 `Cannot access data pointer of Tensor that doesn't have storage`（grad_norm 计算时 apex 误处理 DTensor）
`slime clear_memory`	`/workspace/third_party/slime/slime/backends/megatron_utils/actor.py`	每次 train() 后强制 `del rollout_data + gc.collect + torch.cuda.empty_cache()`（部分缓解 0.5 GiB/step 增长）

2. Patch 源文件（在 host）

/nvme/chengweihua/code/GUI_Gym/patches/megatron_clip_grads.patch
/nvme/chengweihua/code/GUI_Gym/patches/slime_clear_memory.patch
/nvme/chengweihua/code/GUI_Gym/patches/sglang.patch
/nvme/chengweihua/code/GUI_Gym/patch_sgl_kernel.py
/nvme/chengweihua/code/GUI_Gym/apply_patches.sh（自动应用全部 patch）

如果新机器从基础镜像启动而不是从这个 commit，可以运行 bash apply_patches.sh 重新应用。

容器配置参考（原 cwh 的设置）

挂载

/nvme/public_models           → /public_models
/nvme/chengweihua/code/GUI_Gym → /workspace

关键环境变量

bash

ROLLOUT_MODE=offline           # rollout 模式：offline / docker
N_SAMPLES_PER_PROMPT=8         # 默认值，建议覆盖为 4
NUM_GPUS=8
ACTOR_GPUS=4                   # 改为 8 以走 TP=8 colocate
ROLLOUT_GPUS=4                 # 改为 8 以走 TP=8 colocate

网络/IPC

--net=host
--ipc=private（默认）
--shm-size=128g

迁移步骤

1. 导入到目标机器

bash

# 假设 tar.gz 已传到目标机的 /tmp/
docker load < /tmp/gui-gym-grpo-patched-20260514-2032.tar.gz
docker images | grep gui-gym-grpo

2. 启动容器（保留原 cwh 的配置）

bash

docker run -d --name cwh \
  --gpus all \
  --net=host \
  --shm-size=128g \
  -v /your/path/to/GUI_Gym:/workspace \
  -v /your/path/to/public_models:/public_models \
  -e ROLLOUT_MODE=offline \
  -e NUM_GPUS=8 \
  -e ACTOR_GPUS=4 \
  -e ROLLOUT_GPUS=4 \
  gui-gym-grpo:patched-20260514-2032 \
  sleep infinity

替换 /your/path/to/... 为目标机器上对应的实际路径。

3. 启动训练

TP=4 配置（原始，OOM after step 8）：

bash

docker exec -d \
  -e N_SAMPLES_PER_PROMPT=4 \
  -e ROLLOUT_BATCH_SIZE=2 \
  -e GUI_MAX_IMAGE_HISTORY_LENGTH=3 \
  cwh bash -c 'cd /workspace && bash /workspace/rl/gui_qwen3vl_8b_kp_grpo.sh > /workspace/train_$(date +%Y%m%d_%H%M%S).log 2>&1'

TP=8 colocate 配置（推荐，30 GiB 余量）：

bash

docker exec -d \
  -e N_SAMPLES_PER_PROMPT=4 \
  -e ROLLOUT_BATCH_SIZE=2 \
  -e GUI_MAX_IMAGE_HISTORY_LENGTH=3 \
  -e ACTOR_GPUS=8 \
  -e ROLLOUT_GPUS=8 \
  -e TENSOR_PARALLEL_SIZE=8 \
  -e ROLLOUT_NUM_GPUS_PER_ENGINE=4 \
  cwh bash -c 'cd /workspace && bash /workspace/rl/gui_qwen3vl_8b_kp_grpo.sh > /workspace/train_$(date +%Y%m%d_%H%M%S).log 2>&1'

已知问题（即使迁移后仍存在）

问题	影响	workaround
TP=4 时 8-9 步后必 OOM	训练只能跑短期	切换 TP=8 colocate 或加 checkpoint+restart
`N_SAMPLES_PER_PROMPT=8` 是容器 ENV 默认	即使 script 改默认 4 也会被覆盖	docker exec `-e N_SAMPLES_PER_PROMPT=4` 显式覆盖
Adam buffer 渐进增长	即使 TP=8 也可能慢慢逼近上限	`--save-interval 5` + 外层 auto-restart wrapper

详细分析见 /workspace/TRAINING_OOM_NOTES.md。

Rollout-side Docker（与训练 Docker 是两个独立东西）

GUI_Gym 用两套 Docker：

训练用 Docker（cwh）— 就是本镜像，跑 ray+slime+Megatron+SGLang
Rollout 用 Desktop Docker — 每个 rollout sample 会额外启动一个独立容器跑 QEMU+Ubuntu VM，用于模拟 GUI 任务环境

Rollout Docker 不在本镜像里

项目	值	状态
镜像	`happysixd/osworld-docker`	本 image 不包含，迁移时另外 `docker pull`
QEMU 磁盘	`/nvme/chengweihua/image/base.qcow2`（24 GB）	本 image 不包含，必须单独拷贝
启动代码	`docker_desktop/container.py` (在 GUI_Gym repo 里)	已挂载，会跟着 `/workspace` 一起进来

迁移时还要做的事

bash

# 目标机器上：

# 1. 拉 OSWorld desktop 镜像
docker pull happysixd/osworld-docker

# 2. 拷贝 QCOW2（24 GB，可以用 rsync 或 scp）
rsync -avhP /source/nvme/chengweihua/image/base.qcow2 /target/nvme/chengweihua/image/

# 3. 如果目标路径不一样，有两种方式：
#    a) 设环境变量（推荐）：export QCOW2_PATH=/your/new/path/base.qcow2
#    b) 改 container.py:39 的 QCOW2 默认值

Rollout 相关的代码改动（已在 `/workspace` 里，会跟着挂载一起迁移）

改动	文件	作用
`download_to_vm` 重写（host 下载+upload to VM，支持代理）	`docker_desktop/container.py:367`	治 9 分钟挂死，HuggingFace 文件可走代理
`_setup_container` 包进 `asyncio.to_thread`	`rl/rollout/docker_generate.py:312`	容器并行启动，concurrency=16 才真有效
`skip=True` 步骤不进 GT	`rl/rollout/docker_generate.py:329`	warmup 已回放，避免 gt_ptr 卡死
全 skip 任务跳过	`rl/rollout/docker_generate.py:211-214`	节省资源
`scalar_reward` 传 `init_steps`	`rl/rollout/docker_generate.py:370`	重复检测包含前置操作

Rollout 必须的运行时 env

bash

GUI_DOWNLOAD_PROXY=http://chengweihua:...@10.1.20.50:23128/   # HuggingFace 走代理
ANCHOR_TRAJ_BASE_DIR=/workspace/dataset/Anchor/tasks_with_steps_json_and_image
DOCKER_DESKTOP_PATH=/workspace/docker_desktop
GUI_TRAJECTORY_CONCURRENCY=16                                  # 容器并发数
GUI_POOL_MAX_ENVS=16
GUI_FILE_CACHE_DIR=/workspace/desktop_env/cache                # 本地缓存优先级 > 代理下载

注意：训练 docker 还得能通过 docker socket 启动其他 docker（rollout 容器）。原 cwh 是通过 -v /var/run/docker.sock:/var/run/docker.sock 实现的；如果目标机没暴露，需要在 docker run 时加上：

-v /var/run/docker.sock:/var/run/docker.sock

否则 ROLLOUT_MODE=docker 路径会失败（offline 模式不需要）。

验证镜像可用

迁移后第一次启动，验证关键模块：

bash

docker exec cwh python3 -c "
import torch
print('CUDA:', torch.cuda.is_available(), torch.cuda.device_count(), 'GPUs')

# 验证 clip_grads patch 生效
import sys
sys.path.insert(0, '/workspace/third_party/Megatron-LM')
from megatron.core.optimizer.clip_grads import multi_tensor_applier
mod = multi_tensor_applier.__class__.__module__
assert 'transformer_engine' in mod, f'WRONG: still using {mod}'
print('clip_grads patch: OK (using TE)')

# 验证 slime patch 生效
with open('/workspace/third_party/slime/slime/backends/megatron_utils/actor.py') as f:
    src = f.read()
assert 'Without offload_train, slime never frees' in src, 'slime patch MISSING'
print('slime clear_memory patch: OK')

# 验证 sgl_kernel
import sgl_kernel, sglang
print('sgl_kernel + sglang: OK')

print('PASS')
"

omeia/image

GUI-Gym GRPO Patched Docker Image

镜像信息

包含的修改

1. 代码 Patches（已生效到镜像内）

2. Patch 源文件（在 host）

容器配置参考（原 cwh 的设置）

挂载

关键环境变量

网络/IPC

迁移步骤

1. 导入到目标机器

2. 启动容器（保留原 cwh 的配置）

3. 启动训练

已知问题（即使迁移后仍存在）

Rollout-side Docker（与训练 Docker 是两个独立东西）

Rollout Docker 不在本镜像里

迁移时还要做的事

Rollout 相关的代码改动（已在 /workspace 里，会跟着挂载一起迁移）

Rollout 必须的运行时 env

验证镜像可用

omeia/
image

Rollout 相关的代码改动（已在 `/workspace` 里，会跟着挂载一起迁移）