Сборка создана для личного использования на NVIDIA GeForce GTX 1080 (8 ГБ VRAM) и публикуется «как есть». Все приведённые ниже цифры получены на конкретной тестовой системе; на других конфигурациях поведение может отличаться.

⚠️ Любительская сборка. Тестировалась только на указанной конфигурации.

📦 Состав репозитория

Файл	Размер	Описание
`Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-IQ3_XXS.gguf`	3,66 ГБ	основной файл модели
`mmproj-Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-BF16.gguf`	880 МБ	визуальный энкодер (из оригинального репозитория)
`no-think.jinja`	~1 КБ	шаблон для отключения размышлений
`Modelfile`	~1 КБ	конфигурация для Ollama

В авторском репозитории HauhauCS отсутствуют 3-битные кванты. Минимальный размер там — Q4_K_M (5,3 ГБ).
Квант Q3_K_L (4,58 ГБ) был получен в ходе экспериментов, но не публикуется из-за худшего соотношения качество/память на целевом домене.

🖥️ Тестовая конфигурация

Компонент	Значение
GPU	NVIDIA GeForce GTX 1080 (8 ГБ VRAM)
CPU	12th Gen Intel Core i5-12400F
ОЗУ	31 ГБ
llama.cpp	сборка с CUDA, коммит `b8750-bfd1f453c`

🔬 Детали квантизации

Калибровочный датасет (imatrix)

Использовался файл imatrix.dat (~1 МБ) со следующей структурой:

Компонент	Доля	Состав
Код	40%	Python, TypeScript, C++/C#, SQL, Bash, веб-стек
Языковые данные	40%	русский / английский в пропорции 40/60
Логика / математика	10–15%	—
Энтропийный слой	5–10%	предотвращение «роботизации»

Сам файл imatrix.dat не публикуется.

Стратегия сжатия слоёв

Группа слоёв	Тип квантования	Средний bpw	Причина
`ffn_*`	IQ3_XXS	~3,06	хорошо переносят сжатие
`attn_*`	Q4_K / Q5_K	~4,50	критичны для логики и контекста
`ssm_out`	F16 / BF16	16,0	катастрофический рост ошибки при сжатии
`output`	Q5_K	~5,50	баланс качества и размера
`token_embd`	IQ3_S	~3,44	умеренное сжатие

Средний битрейт модели: 3,51 bpw.

📊 Результаты тестов

Производительность

Режим	Контекст	Prompt eval (t/s)	Generation (t/s)
Текстовый (короткий промпт)	2k	~129	~32,4
Длинный контекст	32k	~581	~30,7

Пиковые значения prompt eval достигали 581 t/s. Скорость генерации стабильна в районе 30–35 t/s.

Потребление видеопамяти (контекст ~2k)

Параметр	Значение
Модель (только веса)	~3328 MiB
KV-кэш (контекст)	~2242 MiB
Вычислительные буферы	~493 MiB
Свободно VRAM	~1170 MiB

Сравнение с другими квантами

Квант	Размер	PPL (гибрид)	PPL (WikiText-2)	Генерация	Экономия VRAM
`Q4_K_M`	5,23 ГБ	7,95	21,94	~26 t/s	—
`Q3_K_L`	4,58 ГБ	8,82	22,53	~27 t/s	-13%
`IQ3_XXS`	3,66 ГБ	8,26	23,32	~32 t/s	-30%

Гибридный датасет — смесь кода, логических задач и текстов на русском/английском, близкая к калибровочному набору.

🧠 Тестирование длинного контекста (32k)

Модель протестирована с --ctx-size 32768 на задаче «иголка в стоге сена». Использовался отрывок из романа «Война и мир» (~37 400 токенов). В середину текста вставлена фраза: «Внезапно в комнату вошёл розовый слон и вежливо поздоровался с Анной Павловной». Модель успешно извлекла и воспроизвела эту информацию.

Важно:

Тест проведён на художественном тексте. На сложных технических или специализированных материалах качество работы с 32k контекстом может варьироваться.
Модель может «плыть» при ответах, требующих синтеза информации из разных частей длинного документа.

Рекомендация: для гарантированно стабильной работы используйте контекст до 16k токенов.

🖼️ Мультимодальность

Модель поддерживает работу с изображениями (проверено в llama.cpp).

Важно: на видеокартах с 8 ГБ VRAM обязателен флаг --no-mmproj-offload, иначе возникнет ошибка cudaMalloc failed: out of memory.

Поддержка видео заявлена архитектурой, но не тестировалась.

🚀 Инструкции по запуску

1. Текстовый режим (`llama.cpp`)

Базовая команда:

bash

./llama.cpp/build/bin/llama-cli \
  -m ./models/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-IQ3_XXS.gguf \
  -ngl 99 \
  --temp 0.7 \
  -n 2048 \
  -p "Ваш запрос"
С отключением размышлений (рекомендуется):

Создайте файл no-think.jinja со следующим содержимым:

jinja
{{ bos_token }}
{% for message in messages %}
  {% if message['role'] == 'user' %}
    <|im_start|>user
    {{ message['content'] }}<|im_end|>
  {% elif message['role'] == 'assistant' %}
    <|im_start|>assistant
    {{ message['content'] }}<|im_end|>
  {% elif message['role'] == 'system' %}
    <|im_start|>system
    {{ message['content'] }}<|im_end|>
  {% endif %}
{% endfor %}
{% if add_generation_prompt %}
  <|im_start|>assistant
{% endif %}
И запускайте модель с флагом --chat-template-file:

bash
./llama.cpp/build/bin/llama-cli \
  -m ./models/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-IQ3_XXS.gguf \
  --chat-template-file no-think.jinja \
  -ngl 99 \
  --temp 0.7 \
  -n 2048 \
  -p "Ваш запрос"
Творческий режим (генерация идей, написание текстов):

bash
./llama.cpp/build/bin/llama-cli \
  -m ./models/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-IQ3_XXS.gguf \
  --chat-template-file no-think.jinja \
  -ngl 99 \
  --temp 1.0 --top-p 1.0 --top-k 40 \
  --repeat-penalty 1.1 \
  -n 2048 \
  -p "Ваш запрос"
Режим точных ответов (логика, код, факты):

bash
./llama.cpp/build/bin/llama-cli \
  -m ./models/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-IQ3_XXS.gguf \
  --chat-template-file no-think.jinja \
  -ngl 99 \
  --temp 0.6 --top-p 0.95 --top-k 20 \
  -n 2048 \
  -p "Ваш запрос"
2. Мультимодальный режим (llama.cpp)
bash
./llama.cpp/build/bin/llama-cli \
  -m ./models/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-IQ3_XXS.gguf \
  --mmproj ./models/mmproj-Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-BF16.gguf \
  --image your_image.png \
  --chat-template-file no-think.jinja \
  -ngl 99 \
  --no-mmproj-offload \
  -n 2048 \
  -p "Опиши подробно, что изображено на этой картинке."
3. Использование с Ollama (только текст)
Текстовая совместимость с Ollama проверена. Создайте файл Modelfile:

dockerfile
FROM ./models/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-IQ3_XXS.gguf

TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
"""

PARAMETER temperature 0.7
PARAMETER top_p 0.8
PARAMETER top_k 20
PARAMETER repeat_penalty 1.1

PARAMETER stop "<|im_start|>"
PARAMETER stop "<|im_end|>"
Импортируйте и запустите модель:

bash
ollama create qwen35-iq3xxs -f Modelfile
ollama run qwen35-iq3xxs "Ваш запрос"
Мультимодальность в Ollama не поддерживается (проверено на актуальной версии). Для работы с изображениями используйте llama.cpp.

⬇️ Быстрая загрузка всех файлов
Чтобы скачать модель, mmproj, шаблон и Modelfile одной командой:

bash
curl -L -O https://huggingface.co/Nic22Of2003/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-IQ3_XXS.gguf/resolve/main/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-IQ3_XXS.gguf \
     -O https://huggingface.co/Nic22Of2003/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-IQ3_XXS.gguf/resolve/main/mmproj-Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-BF16.gguf \
     -O https://huggingface.co/Nic22Of2003/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-IQ3_XXS.gguf/resolve/main/no-think.jinja \
     -O https://huggingface.co/Nic22Of2003/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-IQ3_XXS.gguf/resolve/main/Modelfile
⚠️ Ограничения и известные проблемы
Единственная тестовая система: все замеры на GTX 1080. На других GPU поведение может отличаться.

Длинный контекст: модель прошла тест «иголка в стоге сена», но на сложных технических текстах качество не гарантируется.

Мультимодальность в Ollama: не работает. Используйте llama.cpp.

Качество на чистом тексте: немного уступает Q3_K_L (WikiText-2), но на смешанных данных с кодом и логикой превосходит его.

❓ FAQ
Q: Почему выложен только IQ3_XXS, а не Q3_K_L?
A: Q3_K_L на гибридном домене показал худшее качество при большем размере.

Q: Где взять mmproj?
A: Файл включён в репозиторий. Также доступен в оригинальном репозитории.

Q: Будет ли модель работать на Windows?
A: Да, через llama.cpp или LM Studio. Команды адаптируются.



📄 Лицензия
Apache License 2.0 (соответствует оригинальной модели).

🙏 Благодарности
HauhauCS — за оригинальную модель.

Команда llama.cpp — за инструменты квантизации и инференса.

Nic22Of2003/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-IQ3_XXS.gguf

Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-IQ3_XXS-GGUF (любительская сборка)

📌 Что это