Это квантованная версия модели HiperAI-v2.4 на архитектуре Qwen2 (14.5 миллиардов параметров).
Благодаря формату GGUF, модель теперь можно запускать на обычном домашнем компьютере или даже мощном смартфоне.
🛠 Особенности версии
Формат: GGUF (llama.cpp)
Метод квантования: Q4_K_M (оптимальный баланс между скоростью и качеством ответов).
Реальный размер: ~14.5B параметров (в отличие от ошибочного отображения 10B в исходных файлах).
Размер файла: 6.38 ГБ.
🚀 Как запустить
1. На ПК (Windows/Mac/Linux)
Скачайте LM Studio или Ollama.
Перетащите файл hiperai-v2.4-Q4_K_M.gguf в приложение.
Используйте системный промпт (например, "Ты — полезный ИИ-ассистент").
2. Через терминал (llama.cpp)
./llama-cli -m hiperai-v2.4-Q4_K_M.gguf -p "Привет! Расскажи о себе."
