You can deploy this model and start earning money today!

purplehihi/
minivla-mycobot280pi

Name: minivla-mycobot280pi
Availability: InStock

Views

No views yet

MiniVLA MyCobot 280 Pi — 模型规范

基本信息

模型: MiniVLA (prism-qwen25-extra-dinosiglip-224px+0_5b)
基座: Qwen2.5 0.5B + DINOv2 + SigLIP
参数量: 1.25B
训练数据: 90 条 MyCobot 280 Pi 拖拽示教轨迹

输入规范

输入	类型	规格
图像	RGB	224×224, 归一化到 [0,1]
语言指令	文本	英文, 如 "put the yellow block on the shelf onto the black table on the right"
观测状态 (可选)	8维 float	[X, Y, Z, roll, pitch, yaw, 0, gripper]

输出规范

模型输出 7 维动作向量，表示末端执行器的增量运动：

索引	名称	类型	单位	归一化范围
0	dx	delta	mm	取决于 normalize stats
1	dy	delta	mm	同上
2	dz	delta	mm	同上
3	droll	delta	°	同上
4	dpitch	delta	°	同上
5	dyaw	delta	°	同上
6	gripper	absolute	[0, 1]	0=关闭, 1=全开

位置/姿态为 相邻帧变化量 (delta)，夹爪为 下一帧的绝对目标值。

坐标系统

世界坐标系 (Base Frame)

基于 Elephant Robotics 官方定义：

轴	方向	零位值
X	水平向前（远离机器人）	47.1 mm
Y	水平向左	−63.0 mm
Z	竖直向上	420.8 mm

Z 轴原点在底座底面，零位时末端 Z≈420.8mm（含底座高度）
ZYX RPY 欧拉角：R = Rz(yaw) * Ry(pitch) * Rx(roll)

零位姿态

所有关节角 = 0°（encoder = 2048）时：

参数	值
位置 [X, Y, Z]	[45.6, −63.4, 420.9] mm
姿态 [roll, pitch, yaw]	[−90.0°, 0.0°, −90.0°]
末端朝向	Z₆ → +X (gripper 朝前)

坐标系示意图

        Z ↑
          |
          |     Y (left)
          |    ↗
          |  /
          |/
          └──────────→ X (forward)

运动学

Encoder → 关节角

$$\theta_i = \frac{2048 - E_i}{4096} \times 360° \quad \text{(全部取反)}$$

正运动学 (SDH)

Standard DH 参数，6 关节：

$$T_{0\to6} = \prod_{i=1}^{6} R_z(\theta_i + o_i) \cdot T_z(d_i) \cdot T_x(a_i) \cdot R_x(\alpha_i)$$

关节	a (mm)	α (rad)	d (mm)	offset (rad)
J1	0	π/2	139.43	0
J2	−110.4	0	0	−π/2
J3	−96.0	0	0	0
J4	0	π/2	63.4	−π/2
J5	0	−π/2	75.05	π/2
J6	0	0	45.6	0

逆运动学

Damped Least Squares (Levenberg-Marquardt)，数值雅可比：

$$\Delta\theta = J^T (J J^T + \lambda^2 I)^{-1} \Delta x$$

收敛阈值: 位置 < 0.5mm，姿态 < 0.5°。

使用示例

python

import torch
from prismatic.models import load_vla
from prismatic.vla.action_tokenizer import ACTION_TOKENIZERS
from PIL import Image

# 加载模型
vla = load_vla("checkpoints/minivla_libero90/checkpoints/step-122500-epoch-55-loss=0.0743.pt",
               hf_token="dummy", load_for_training=False)
# 加载微调权重
ckpt = torch.load("epoch1-minmax-smooth.pt", map_location="cpu")
vla.load_state_dict(ckpt["model"], strict=False)
vla = vla.cuda().eval()

# 设置归一化参数
vla.norm_stats = {"mycobot_task2": stats}  # stats from dataset_statistics.json
vla.action_tokenizer = ACTION_TOKENIZERS["extra_action_tokenizer"](vla.llm_backbone.tokenizer)

# 推理
image = Image.open("camera_view.jpg").convert("RGB")
action = vla.predict_action(image,
    "put the yellow block on the shelf onto the black table on the right",
    unnorm_key="mycobot_task2")

# action = [dx, dy, dz, droll, dpitch, dyaw, gripper]  (7维)
# dx,dy,dz: mm  |  droll,dpitch,dyaw: °  |  gripper: [0,1]

权重版本

文件	策略	测试 MAE	说明
`epoch1-minmax.pt`	min/max+5% 对称	1.44	原始数据
`epoch1-minmax-smooth.pt`	平滑+对称	1.39	S-G 滤波 w=7, 关节空间

关节限位

关节	最小	最大
J1	−168°	+168°
J2	−140°	+140°
J3	−150°	+150°
J4	−155°	+150°
J5	−155°	+160°
J6	−180°	+180°

夹爪状态

状态	连续值	含义
窄抓取	~0.22	抓住小物体
宽抓取	~0.53	抓住大物体
全开	~1.00	释放/准备抓取

purplehihi/minivla-mycobot280pi