Views
No views yet
| 模型类型 | 模型名称 | 说明 |
|---|---|---|
| ASR | SenseVoiceSmall-axmodel | 多语言语音理解模型 |
| VLM | Qwen3-VL-2B-Instruct-GPTQ-Int4 | 多模态视觉语言模型 |
| LLM | Qwen3-1.7B | 大语言模型 |
| Embedding | Qwen3-VL-Embedding-2B-AX650 | 多模态嵌入模型 |
pip install -r requirements.txt1cp .env.example .env
2# 编辑 .env 文件，填入实际模型路径和 API 地址.env 配置示例：1# LLM API（OpenAI API 格式）
2LLM_MODEL_PATH = "/data/huangjie/.cache/modelscope/hub/models/Qwen/Qwen3-VL-Embedding-2B"
3LLM_API_BASE_URL = "http://0.0.0.0:8012/v1/"
4LLM_API_KEY = "xxx"
5LLM_MODEL_NAME = "AXERA-TECH/Qwen3-1.7B"
6LLM_API_PORT = 8012
7
8# ASR API
9SHERPA_MODEL_DIR = "/root/huangjie/AXERA-TECH/SenseVoice"
10SHERPA_ASR_URL = "http://0.0.0.0:8013"
11SHERPA_ASR_API_PORT = 8013
12SHERPA_MODEL_FILE = "/root/huangjie/AXERA-TECH/SenseVoice/ax650/model-10-seconds.axmodel"
13
14# Tokenizer API
15Tokenizer_MODEL_PATH = "/root/huangjie/project/VideoAgent_api507/VideoAgent/_llm/tokenizer_model/Qwen/Qwen3-1.7B"
16Tokenizer_API_BASE_URL = "http://0.0.0.0:8014"
17Tokenizer_API_PORT = 80141# Embedding 服务 — 端口 8010
2axllm serve /root/huangjie/AXERA-TECH/models--AXERA-TECH--Qwen3-VL-Embedding-2B-AX650-C128_P1280_CTX1407 --port 8010
3
4# VLM 服务 — 端口 8011
5axllm serve /root/huangjie/AXERA-TECH/Qwen3-VL-2B-Instruct-GPTQ-Int4 --port 8011
6
7# LLM 服务 — 端口 8012
8axllm serve /root/huangjie/AXERA-TECH/models--AXERA-TECH--Qwen3-1.7B --port 8012
9
10# ASR 服务 — 端口 8013
11python VideoAgent/_server/sherpa_asr_server.py
12
13# Tokenizer 服务 — 端口 8014
14python VideoAgent/_server/tokenizer_server.pypython webui.py| 索引界面 | 检索界面 |
|---|---|
 |  |
1from VideoAgent import VideoRAG, QueryParam
2
3# 初始化 RAG 系统
4rag = VideoRAG(working_dir="./working_dir")
5
6# 索引视频文件
7rag.insert_video(video_path_list=["video1.mp4", "video2.mp4"])
8
9# 查询视频内容
10result = rag.query(query="视频中什么时候出现张飞？", param=QueryParam())
11print(result)
VideoAgent-AX650N/
├── VideoAgent/ # 核心包
│ ├── _llm/ # 模型定义层
│ ├── _server/ # 服务层（FastAPI）
│ ├── _storage/ # 存储层
│ ├── _videoutil/ # 视频处理工具
│ └── vidrag_pipeline.py # 核心管道
├── working_dir/ # 运行时数据目录
├── webui.py # Gradio Web 入口
├── videorag_longervideos.py # 测试脚本
└── README.md # 项目文档