You can deploy this model and start earning money today!

fjcanyue/
Lingshu-7B-GGUF

Name: Lingshu-7B-GGUF
Availability: InStock

Views

No views yet

Lingshu-7B-GGUF

本仓库提供 Lingshu-7B 多模态医疗大语言模型的 GGUF 格式权重文件，适用于 llama.cpp 及其衍生项目进行本地推理。

Lingshu-7B 基于 Qwen2.5-VL 架构，支持 文本 + 图像 输入，可用于医学影像理解、报告生成、疾病分析等任务。

📂 文件说明

文件名	大小	说明
`Lingshu-7B.Q4_K_M.gguf`	4.68 GB	主模型 Q4_K_M 量化版本（显存占用低，速度快）
`Lingshu-7B.Q5_K_M.gguf`	5.44 GB	主模型 Q5_K_M 量化版本（精度与速度平衡）
`Lingshu-7B.Q8_0.gguf`	8.10 GB	主模型 Q8_0 量化版本（接近全精度，精度最高）
`mmproj-Lingshu-7B.f16.gguf`	1.35 GB	多模态视觉投影层（mmproj），用于图像特征映射，保持全精度

🚀 使用方法

1. 编译 llama.cpp（以 CUDA 为例）

bash

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DLLAMA_CUDA=ON
cmake --build build --config Release

2. 运行多模态推理

注意：需要使用支持多模态的可执行文件 llama-mtmd-cli，而不是纯文本的 llama-cli。

bash

./build/bin/llama-mtmd-cli \
    -m /path/to/Lingshu-7B.Q5_K_M.gguf \
    --mmproj /path/to/mmproj-Lingshu-7B.f16.gguf \
    --image /path/to/ct01.png \
    -p "请识别CT图片，给出疾病分析结果" \
    -ngl 999

参数说明：

-m：主模型 GGUF 文件路径
--mmproj：视觉投影层 GGUF 文件路径
--image：输入图片路径
-p：文本提示词
-ngl：GPU 加速层数（999 表示尽可能多）

💡 量化版本选择建议

Q4_K_M：显存占用最低，速度最快，适合轻量部署
Q5_K_M：精度与速度平衡，推荐通用使用
Q8_0：精度最高，适合对输出质量要求极高的场景

📜 许可证

本模型及权重文件遵循 MIT License，请在使用时遵守相关法律法规及伦理规范。

fjcanyue/Lingshu-7B-GGUF