For text only LLMs: llama-cli -hf quantumstocks/qwen-finance-0.8b-gguf --jinja
For multimodal models: llama-mtmd-cli -hf quantumstocks/qwen-finance-0.8b-gguf --jinja

Available Model files:

Qwen3.5-0.8B.Q8_0.gguf
Qwen3.5-0.8B.F16-mmproj.gguf This was trained 2x faster with Unsloth

markdown

---
language:
  - en
base_model: unsloth/Qwen3.5-0.8B
tags:
  - finance
  - unsloth
  - qwen
  - gguf
  - text-generation
datasets:
  - ianncity/GLM-5.2-Finance-80000x
---

# Qwen-Finance-0.8B (GGUF)

Эта модель является результатом дообучения (fine-tuning) языковой модели `unsloth/Qwen3.5-0.8B` на финансовом датасете. 

## Детали обучения
* **Базовая модель:** `unsloth/Qwen3.5-0.8B`
* **Обучающий датасет:** [`ianncity/GLM-5.2-Finance-80000x`](https://huggingface.co/datasets/ianncity/GLM-5.2-Finance-80000x)
* **Фреймворк:** Unsloth (обучение прошло в 2 раза быстрее и с меньшим потреблением памяти).
* **Формат:** GGUF (квантование `q8_0`).

## Описание датасета
Датасет `ianncity/GLM-5.2-Finance-80000x` содержит 80 000+ пар диалогов (вопрос-ответ), сфокусированных на сложных финансовых темах: кредитование, устойчивое развитие (ESG), высокочастотный трейдинг (HFT), арбитраж, микрофинансовые рынки и нормативное регулирование.

## Использование
Поскольку модель сохранена в формате GGUF, её можно запустить локально на CPU или GPU через `llama.cpp`, Ollama или LM Studio.

### Пример запуска через llama.cpp:
```bash
llama-cli -hf quantumstocks/qwen-finance-0.8b-gguf --jinja