Event Graph Generation — ViT-G

Model Overview

Base Model

Model Details

Architecture

Video → V-JEPA 2.1 ViT-G → spatiotemporal tokens (B, S, 1408)
  → ObjectPoolingModule (Slot Attention, K=24 slots)
    → ObjectRepresentation (identity, trajectory, existence, categories)
      → VJEPAEventDecoder (M=20 event queries, cross-attention)
        → 7 Prediction Heads → EventGraph JSON

Prediction Heads

Training

Fine-tuning

• ファインチューニング: あり（V-JEPA backbone は frozen、Event Decoder 部分のみ学習）
• 学習手法: Full fine-tuning（Event Decoder 全体を学習。LoRA 等は未使用）
• Optimizer: adamw (lr=0.0001, weight_decay=0.0001)
• Scheduler: cosine_warmup (warmup 5 epochs)
• Early stopping: patience=15
• AMP: bfloat16 mixed precision
• 損失関数: Hungarian Matching によるセット予測損失

Training Data

• データ: 室内環境の録画動画（デスク・キッチン・部屋）
• アノテーション: Qwen 3.5 VLM による合成アノテーション（人手ラベルなし）
• フレームレート: 1 FPS でサンプリング、16 フレーム/クリップ、50% オーバーラップ
• オブジェクトカテゴリ: 28 カテゴリ + unknown（person, hand, chair, desk, laptop, monitor 等）
• アクション語彙: 13 クラス（take_out, put_in, place_on, pick_up, hand_over, open, close, use, move, attach, detach, inspect, no_event）

Intended Use

Intended Use Cases

• 製造・組立作業の動画からの作業イベント自動抽出
• 室内行動の構造的記録（誰が何をどこに置いたか等）
• 動画理解研究のための構造化アノテーション自動生成
• IoT / スマートホーム環境での行動ログ生成

Out-of-Scope Use

• 個人の監視・追跡を目的とした利用
• 屋外・交通・医療など、学習データに含まれないドメインでの高精度な利用
• リアルタイム処理が必要なシステム（V-JEPA backbone の推論コストが高い）
• セキュリティ判断や法的判断の根拠としての利用

Evaluation

注意: 本モデルは VLM 合成アノテーションで学習されており、人手アノテーションによるベンチマークスコアは未計測です。

Inference

End-to-End Inference (推奨)

Python API

Limitations

Bias

• 学習データは室内環境（デスク・キッチン・部屋）に限定されており、屋外や工場環境での精度は未検証
• VLM 合成アノテーションに依存しているため、Qwen 3.5 のバイアスを継承する可能性がある
• オブジェクトカテゴリは 28 種類に限定されており、未知カテゴリのオブジェクトは "unknown" として扱われる

Limitations

• V-JEPA backbone は frozen のため、ドメイン固有の映像表現への適応は限定的
• 13 種類のアクション語彙に限定されており、語彙外の行動は検出できない
• 1 FPS サンプリングのため、1 秒未満の高速なイベントは見逃す可能性がある
• 推論には CUDA 対応 GPU が必要（V-JEPA backbone + Event Decoder）
• 長時間動画ではスライディングウィンドウ処理のため、メモリ使用量と処理時間が線形に増加

License

Citation

Links

• Repository: ChanYu1224/event-graph-generation
• V-JEPA: facebookresearch/vjepa