EquiAV 项目设置与使用指南

1. 🚀 安装与设置

• MAE 权重:
  • 下载链接: https://dl.fbaipublicfiles.com/mae/pretrain/mae_pretrain_vit_base.pth
  • 放置路径: ./pretrained_weights/mae_pretrain_vit_base.pth (请确保 pretrained_weights 目录存在)
• EquiAV 权重:
  • 下载链接: https://docs.google.com/uc?export=download&id=1QCvBcu-CAXFLKqfk0G7niO2JO5kf74K6
  • 放置路径: ./EquiAV_pretrained.pth (放置在项目根目录)

• 创建一个文件夹，用于存放您所有待处理的 .mp4 视频文件。
• 例如，您可以将它们放在：/root/autodl-tmp/EquiAV/data_right

2. 🏃‍♂️ 运行步骤

• 运行命令:
  python ./process_video.py
• [!] 重要： 在运行之前，您必须打开并修改 ./process_video.py 文件中的配置路径：
  python

  1# 1. mp4 文件所在的目录 2SOURCE_DIR = '/root/autodl-tmp/EquiAV/data_right' 3 4# 2. 存储提取的帧的目录 5TARGET_DIR = '/root/autodl-tmp/right_frames' 6 7# 3. 每个视频提取的帧数 (根据 EquiAV 论文) 8NUM_FRAMES = 10

• 运行命令:
  python ./judg.py
• [!] 重要： 在运行之前，您必须打开并修改 ./judg.py 文件中的配置：
  python

  1# 包含 _frames 目录的路径，也是 .json 文件的输出路径 2FRAME_DATA_DIR = '/root/autodl-tmp/right_frames' 3# 包含 .mp4 文件的源目录 (将进行递归搜索) 4VIDEO_SOURCE_DIR = '/root/autodl-tmp/EquiAV/data_right' 5# 你的模型 .pth 文件路径 6MODEL_PATH = '/root/autodl-tmp/EquiAV/EquiAV_pretrained.pth' 7 8# [!] 关键：运行时的批处理大小。 9RUN_BATCH_SIZE = 1 # 如果显存不足 (OOM)，请减小此值 10 11# [!] 预处理脚本使用的帧目录后缀 12FRAME_DIR_SUFFIX_FROM_PREPROCESS = '_frames'