Quantized vision projector (mmproj) for Qwen3.5-9B in GGUF format, Q8_0.
Use alongside the main text-backbone GGUF weights in llama.cpp or compatible runtimes.

Files

File	Type	Quant
`mmproj-qwen3.5-9b-q8_0.gguf`	vision projector	Q8_0

The text backbone weights are not included — use them from the original repo or your own GGUF quant.

Usage

bash

# CLI
llama-cli \
  --model qwen3.5-9b-Q4_K_M.gguf \
  --mmproj mmproj-qwen3.5-9b-q8_0.gguf \
  --image photo.jpg \
  -p "Describe the image"

# Server
llama-server \
  --model qwen3.5-9b-Q4_K_M.gguf \
  --mmproj mmproj-qwen3.5-9b-q8_0.gguf \
  --port 8080

Details

Base model: Qwen/Qwen3.5-9B
Source format: F16 GGUF
Quantization tool: llama.cpp llama-quantize
Quant author: AVert888

Q8_0 for mmproj delivers near-lossless vision encoding quality with a meaningful size reduction vs F16.

🇷🇺 Русский

Квантованный проектор видения (mmproj) для Qwen3.5-9B в формате GGUF, Q8_0.
Используется совместно с основными весами (text backbone) в llama.cpp и совместимых инструментах.

Файлы

Файл	Тип	Квант
`mmproj-qwen3.5-9b-q8_0.gguf`	vision projector	Q8_0

Основные веса модели в этот репозиторий не включены — используй их из оригинального репо или своего GGUF-кванта.

Использование

bash

# CLI
llama-cli \
  --model qwen3.5-9b-Q4_K_M.gguf \
  --mmproj mmproj-qwen3.5-9b-q8_0.gguf \
  --image фото.jpg \
  -p "Опиши изображение"

# Сервер
llama-server \
  --model qwen3.5-9b-Q4_K_M.gguf \
  --mmproj mmproj-qwen3.5-9b-q8_0.gguf \
  --port 8080

Детали

Базовая модель: Qwen/Qwen3.5-9B
Исходный формат: F16 GGUF
Инструмент квантизации: llama.cpp llama-quantize
Автор кванта: AVert888

Q8_0 для mmproj обеспечивает минимальные потери качества vision-encoder при существенном снижении размера по сравнению с F16.

🇨🇳 中文

这是 Qwen3.5-9B 的量化 视觉投影器（mmproj），GGUF 格式，Q8_0 量化。
需配合主干文本权重在 llama.cpp 或兼容运行时中使用。

文件列表

文件	类型	量化
`mmproj-qwen3.5-9b-q8_0.gguf`	视觉投影器	Q8_0

本仓库不包含文本主干权重——请从原始仓库或自行量化的 GGUF 中获取。

使用方法

bash

# 命令行
llama-cli \
  --model qwen3.5-9b-Q4_K_M.gguf \
  --mmproj mmproj-qwen3.5-9b-q8_0.gguf \
  --image photo.jpg \
  -p "描述这张图片"

# 服务端
llama-server \
  --model qwen3.5-9b-Q4_K_M.gguf \
  --mmproj mmproj-qwen3.5-9b-q8_0.gguf \
  --port 8080

详细信息

基础模型： Qwen/Qwen3.5-9B
源格式： F16 GGUF
量化工具： llama.cpp llama-quantize
量化作者： AVert888

mmproj 采用 Q8_0 量化，视觉编码质量损失极小，同时相比 F16 显著减小了文件体积。

AVert888/Qwen3.5-9B-mmproj-q8_0-GGUF

Qwen3.5-9B — mmproj Q8_0 GGUF

🇬🇧 English

Files

Usage

Details

🇷🇺 Русский

Файлы

Использование

Детали

🇨🇳 中文

文件列表

使用方法

详细信息

AVert888/
Qwen3.5-9B-mmproj-q8_0-GGUF