HY273 Unified Relative-Delta Control80
本仓库归档统一 HY273 模型在加入 HOI 之前的四个阶段 checkpoint。模型始终共享
同一个 DiT backbone 和完整 [B,T,273] 输出头,没有任务 Adapter。
Checkpoint 选择
| 文件 | 训练阶段 | 推荐用途 |
|---|
checkpoints/stage_a_100k_t2m.pt | 0-100K,T2M 100% | 纯 T2M 基模与从头复现实验锚点 |
checkpoints/stage_b_150k_relative_delta_parent.pt | 100-150K,T2M/Edit/Reaction=30/35/35 | 最佳无 Control 统一 parent |
checkpoints/control_200k_balanced.pt | 150-200K,原任务比例不变,Control=80% | 三任务与 Control 的均衡 checkpoint |
checkpoints/control_250k_best.pt | 200-250K,同一 Control 合同续训 | 当前 Control 专项最强 checkpoint |
Control 是与任务正交的 target-side observation:先按 30/35/35 采样
T2M/Edit/Reaction,再独立采样 control_present ~ Bernoulli(0.8);20% 样本保持
无控制,Ease 关闭。T2M 控制生成动作,Edit 控制 target,Reaction 控制 reactor。
Control 结果
评估使用 HumanML3D test 全量 4,042 motions,with-text/no-text 共 8,084 cases,
EMA、ODE32、text/control CFG=2/2。以下为 final exact clamp 前的 raw prediction:
| Step | Regime | Root cm | Root@10cm | EE cm | EE rot deg | Full-pose cm |
|---|
| 200K | with-text | 6.999 | 85.37% | 14.121 | 6.057 | 5.413 |
| 200K | no-text | 6.223 | 89.78% | 13.437 | 5.760 | 5.303 |
| 250K | with-text | 5.900 | 93.43% | 8.948 | 4.465 | 4.791 |
| 250K | no-text | 4.855 | 96.23% | 7.944 | 4.212 | 3.346 |
250K 是 Control 专项最强点。200K 对旧能力更均衡:250K 相比 200K 的 Control
继续明显改善,但 T2M FID 和 Edit Full-1013 R@1 有小幅回退。
原任务非退化摘要
| Task/metric | 150K parent | Control 200K | Control 250K |
|---|
| T2M native-TMR FID | 16.933 | 15.001 | 17.887 |
| T2M text-motion cosine | 0.6490 | 0.6559 | 0.6534 |
| Reaction relation MAE cm | 26.184 | 25.032 | 24.819 |
| Reaction relative heading deg | 71.521 | 68.857 | 67.600 |
| Edit Full-1013 R@1 | 24.09 | 23.20 | 22.80 |
| Edit Full-1013 AvgR | 19.47 | 19.95 | 20.93 |
配置与评估文件
configs/:每个阶段训练输出中的 resolved_config.yaml。
metrics/:200K/250K 的 8,084-case Control summary,以及 T2M/Edit/Reaction
非退化摘要。
- 训练和推理代码:https://github.com/CHDTevior/moge_UMO_ST,归档分支
agent/relative-delta-control-hoi-plan。
该归档用于科研复现。运行时必须使用配置中记录的同一 K273 表示、30 FPS、
LLM2Vec 文本缓存及共享 normalization stats;不要在中途更换 Mean/Std 后直接续训。