musubi-tuner Wan-Move adaptation
给另一台机器 Codex 的交接说明(请先阅读)
1. 这个项目在做什么
基座只使用官方 Ruihang/Wan-Move-14B-480P;
输入为首帧、文本任务描述,以及夹爪/被操作物体或部件的二维点轨迹;
点轨迹被映射到 VAE latent 网格,并将首帧对应特征沿未来轨迹传播;
只训练 DiT 的 LoRA,目标是让模型更适应 LIBERO 的固定第三视角、
Franka 机械臂、物体几何和交互运动;
数据统一为 16 FPS、81 帧、约 5 秒,训练分辨率为 624x624;
原始训练集 5,843 条;默认按任务分层抽取 40%,在缓存前额外生成 2,337 条
时序一致的增强副本,因此正式训练清单共 8,180 条。650 条验证数据保持
原始、完全不增强,覆盖
130 个任务。