pi0_soarm101_full_v203_50k

模型信息

训练配置

• 冻结：SigLIP 视觉编码器（~0.41B 参数）
• 训练：Gemma-2B 语言模型 + Gemma-300M Action Expert + 全部投影层（3.09B 参数，非 LoRA）
• bfloat16 + gradient checkpointing，batch=8
• LR：cosine，峰值 2.5e-5，衰减至 2.5e-6（50k 步铺满）
• 训练 loss 收敛至 ~0.05 量级

环境要求

• Python 3.10，LeRobot 0.4.4（Seeed fork：github.com/Seeed-Projects/lerobot）
• pip install -e ".[pi]" + pip install peft
• NVIDIA GPU ≥8GB 显存（推理）

下载

部署要点

1. tokenizer：模型配置中的 tokenizer_name 指向 /root/data/paligemma_tokenizer。部署端需将 tokenizer 目录（tokenizer.json / tokenizer.model / tokenizer_config.json / special_tokens_map.json / config.json / preprocessor_config.json 共 6 个文件）放到该路径；否则修改 policy_preprocessor.json 中的 tokenizer_name。
2. 加载：PI0Policy.from_pretrained("/root/models/pi0_soarm101_full_v203_50k")，用绝对路径，勿用 ~。
3. 观察输入：observation.images.top（顶部 640×480）+ observation.images.gripper（腕部 640×480）+ observation.state（6 维关节角，归一化 -100..100）。
4. prompt 必须严格一致（含句号）：Pick up the white pill bottle and place it inside the black tape circle.
5. 动作输出：action chunk，50 步（chunk_size=50），6 维。

Jetson（AGX Orin 64GB）提示

• 推理约 0.52s/次；配合 action chunk 执行，控制频率 0.51Hz 可行
• 慢则降级：num_inference_steps 10→5 → RTC → 远程推理
• 视频解码 aarch64 自动回退 pyav
• wrist_roll 维度归一化 std ≈ 1.99（活动范围小）：真机若腕部抖动明显，可 clamp stats 后重训
• 相机保持与采集时一致的位置/光照

相关仓库

• 数据集：franecki/pill_bottle_203（原始 203 集）、franecki/pill_bottle_200（清洗版，不推荐）
• 历史模型：franecki/pi0_soarm101_expert_only、franecki/pi0_soarm101_lora、franecki/pi0_soarm101_full_30k