VL-JEPA Custom (V-JEPA 2 + Qwen 2.5 + MiniLM)

English Description

Architecture

• X-Encoder (Video): Frozen V-JEPA 2 (ViT-L).
• Predictor (Refinement): Qwen 2.5 0.5B fine-tuned using LoRA (Low-Rank Adaptation).
• Y-Encoder (Text Target): Frozen all-MiniLM-L6-v2.

Training Details

• Dataset: Charades-STA (Academic dataset for video action localization).
• Optimization: LoRA with \(r=64\) and \(\alpha=128\), targeting q_proj and v_proj in Qwen.
• Learning Rate: 3e-4 with Cosine Warmup.
• Outcome: Only 0.2% of parameters are trainable, making it extremely lightweight to train and run.

Description en Français

Architecture

• Encodeur Vidéo (X) : V-JEPA 2 (ViT-L) gelé.
• Prédicteur : Qwen 2.5 0.5B adapté avec LoRA.
• Encodeur Texte (Y) : all-MiniLM-L6-v2 gelé.

Détails d'Entraînement

• Dataset : Charades-STA.
• Méthode : Entraînement via LoRA \(r=64\), \(\alpha=128\).
• Coût : Approche très économique, entraînée pour environ 5$ sur Vast.ai.

Usage / Utilisation