🚀 Mobile VLA: Vision-Language-Action Model for Mobile Robots

📋 Model Description

🎯 핵심 기능

• Vision-Language-Action: 이미지와 텍스트 지시사항을 받아 로봇 액션 예측
• 3D 연속 제어: [linear_x, linear_y, angular_z] 형태의 연속 액션 공간
• 장애물 회피: 1-box, 2-box 시나리오에서 좌우 회피 전략 학습
• 실시간 처리: 효율적인 vision-only 처리로 빠른 추론

🔧 기술 사양

• 백본 모델: microsoft/kosmos-2-patch14-224
• 입력: RGB 이미지 (224x224) + 텍스트 지시사항
• 출력: 3D 연속 액션 벡터
• 학습 방식: Huber Loss 기반 회귀
• 데이터: 72개 실제 로봇 에피소드

📊 성능 지표

전체 성능

• 전체 MAE: 0.285
• 임계값 정확도 (0.1): 37.5%

액션별 성능

시나리오별 성능

🚀 사용 방법

설치

기본 사용법

고급 사용법

🏗️ 모델 아키텍처

[RGB Images] → [Kosmos-2B Vision] → [Action Head] → [3D Actions]
     ↓              ↓                    ↓             ↓
   224x224    Image Features         Regression    [x, y, θ]

핵심 컴포넌트

1. Kosmos-2B Vision Model: 이미지 특징 추출
2. Action Head: 3D 회귀 헤드 (512 → 3*chunk_size)
3. Window/Chunk: 8프레임 관찰 → 2프레임 예측

📈 RoboVLMs와의 비교

🎯 주요 개선사항

• 데이터 효율성: 1000배 적은 데이터로 실용적 성능
• 실시간 성능: Vision-only 처리로 빠른 추론
• 연속 제어: 정밀한 3D 액션 예측
• 시나리오 특화: 장애물 회피 전용 최적화

📚 학습 데이터

• 에피소드 수: 72개
• 시나리오: 1box/2box × left/right × vertical/horizontal
• 액션: [linear_x, linear_y, angular_z] 연속 값
• 이미지: 실제 로봇 카메라 RGB (224x224)

🔬 연구 배경

1. Window/Chunk 유지: 8프레임 관찰 → 2프레임 예측 구조
2. Kosmos-2B 통합: Vision-Language 백본 활용
3. 연속 제어: Discrete → Continuous 액션 공간 전환
4. 실제 로봇 데이터: HDF5 형태의 실제 수집 데이터

📄 인용

🤝 기여

📞 연락처

• Issues: GitHub Issues
• Discussions: HuggingFace Discussions