You can deploy this model and start earning money today!

jasonxu11/
yunhebisai

Name: yunhebisai
Availability: InStock

safetensors

Views

No views yet

政务问答系统

这是一个基于检索增强生成（RAG）的政务领域智能问答系统，结合了向量检索和大语言模型微调技术。

📋 目录结构

7/
├── solver.py              # 主推理脚本（RAG问答）
├── train.py               # LoRA微调训练脚本
├── vllm_service.sh        # vLLM服务启动脚本
├── data/                  # 数据目录
│   ├── data/             # 检索语料库
│   ├── test.xlsx         # 测试集
│   └── train.parquet     # 训练数据
└── models/               # 模型目录
    ├── Qwen3-Embedding-0.6B/  # 向量嵌入模型
    └── trained_llm/           # 微调后的LLM

🚀 功能特性

核心功能

文档检索系统
- 支持多格式文档自动提取（PDF、Word、TXT等）
- 智能文本分块（chunk size: 2304，overlap: 512）
- 基于向量相似度的高效检索
大模型推理
- 基于LoRA微调的政务领域模型
- vLLM高性能推理加速
- 支持多卡并行部署
模型训练
- LoRA低秩自适应微调
- 标签平滑正则化
- 自动数据集划分和预处理

🔧 环境要求

Python 3.8+
CUDA 11.8+
PyTorch 2.0+
至少 2x GPU（推荐24GB+ 显存）

依赖安装

bash

pip install torch vllm openai pandas openpyxl docx textract
pip install transformers peft datasets langchain-text-splitters tqdm

📖 使用指南

第一步：准备数据

准备检索语料库
- 将所有文档放入 data/data/ 目录
- 支持格式：.pdf, .docx, .txt 等
- 系统会自动并行加载和处理
准备测试集
- 测试文件：data/test.xlsx
- 必需列：ID, question
（可选）准备训练数据
- 训练文件：data/train.parquet
- 必需列：system, instruction, output

第二步：（可选）模型微调

如果需要对模型进行微调：

bash

python train.py \
    --dataset data/train.parquet \
    --base-model models/trained_llm \
    --output models/output/checkpoints \
    --max-samples 90000 \
    --max-length 2200 \
    --batch 2 \
    --grad-accum 3 \
    --lr 2.1e-4 \
    --steps 1000 \
    --seed 5150

参数说明：

--dataset: 训练数据路径
--base-model: 基础模型路径
--output: 输出检查点目录
--max-samples: 最大训练样本数
--max-length: 最大序列长度
--batch: 每设备批次大小
--grad-accum: 梯度累积步数
--lr: 学习率
--steps: 训练步数

LoRA配置：

Rank (r): 20
Alpha: 40
Dropout: 0.09
Target Modules: q_proj, k_proj, v_proj, o_proj

第三步：启动vLLM服务

在运行推理之前，需要先启动vLLM服务：

bash vllm_service.sh

服务配置：

GPU: 1,2（双卡并行）
模型：../models/trained_llm
服务名称：trained
张量并行度：2
最大模型长度：9216
GPU内存利用率：0.8
监听地址：http://localhost:8000/v1

注意：确保端口 8000 未被占用

第四步：运行问答推理

启动vLLM服务后，在另一个终端运行：

python solver.py --task_type 政务

推理流程：

加载检索语料库（并行处理）
文本分块和向量化
为每个测试问题检索Top-K相关文档（K=3）
基于检索结果生成答案（异步并发处理）
保存结果到 result.csv

核心参数：

Chunk Size: 2304
Chunk Overlap: 512
Top-K检索: 3
最大并发数: 12
嵌入模型GPU利用率: 0.15

第五步：查看结果

推理完成后，结果保存在：

result.csv

输出格式：

ID	answer
1	答案内容
2	答案内容

⚙️ 配置调优

检索参数

在 solver.py 中修改全局常量：

python

DEFAULT_CHUNK_LENGTH = 2304   # 文本块大小
DEFAULT_OVERLAP_SIZE = 512    # 重叠大小
TOP_K_DOCS = 3                # 检索文档数量
THREAD_POOL_SIZE = 12         # 并发线程数

提示词模板

修改 ConfigManager 中的提示词格式：

self._prompt_fmt = "问题:\n{question}\n\n参考以下文档来回答:\n{docs}"

vLLM服务

编辑 vllm_service.sh 调整：

--tensor-parallel-size: 张量并行度
--max-model-len: 最大上下文长度
--gpu-memory-utilization: GPU内存使用率

🔍 工作原理

RAG流程

mermaid

graph LR
A[用户问题] --> B[向量化查询]
B --> C[检索Top-K文档]
C --> D[构建提示词]
D --> E[LLM生成答案]
E --> F[后处理输出]

技术栈

向量检索: Qwen3-Embedding-0.6B
LLM: 微调后的Qwen3-8B
推理框架: vLLM（高性能推理）
微调方法: LoRA（低秩自适应）
文本处理: LangChain Text Splitters

📊 性能优化

并行处理
- 文档加载：ThreadPoolExecutor（16线程）
- 问答生成：异步并发（12任务）
内存管理
- 嵌入模型GPU利用率：15%
- vLLM推理GPU利用率：80%
推理加速
- vLLM连续批处理
- 张量并行（2卡）
- 异步API调用

⚠️ 注意事项

GPU资源：推荐使用2张24GB以上显存的GPU
端口冲突：确保8000端口可用
数据路径：检查 data/ 和 models/ 路径是否正确
编码问题：CSV文件支持多种编码自动检测
文件格式：跳过不支持的格式（如.wps）

🐛 常见问题

Q1: vLLM服务启动失败？

检查CUDA版本和GPU驱动
确认模型路径正确
查看显存是否充足

Q2: 推理速度慢？

增加 THREAD_POOL_SIZE 和 max_workers
调整vLLM的 --tensor-parallel-size
减少 TOP_K_DOCS 数量

Q3: 内存不足？

减小 DEFAULT_CHUNK_LENGTH
降低 --gpu-memory-utilization
减少并发任务数

Q4: 答案质量不佳？

调整检索参数（Top-K, chunk size）
优化提示词模板
增加训练数据进行微调

📝 更新日志

v1.0: 初始版本，完整RAG+微调pipeline
优化向量检索效率
支持异步并发推理

📄 许可证

本项目仅供研究和学习使用。

作者: 政务问答团队
联系: 如有问题请查阅日志文件或联系维护人员

jasonxu11/yunhebisai