⚡dpp-gpt V2.1 Flash (90m)
(🇺🇸 English / 🇷🇺 Русский)
This is the ultra-lightweight "Flash" version of the dpp-gpt-V2.1 series.
It is a microscopic Large Language Model trained entirely from scratch.
⚙️ Model Details
- Parameters: 93M
- Layers / Hidden Size / Heads: 11 / 768 / 12
- Context Length: 4096 tokens
- Vocabulary Size: 32768
- Format: GGUF / PyTorch (.pth)
- License: Apache 2.0
📊 Training Data
- Pre-training: ~11.26 Billion tokens (~121.1 tokens/parameter).
- Fine-Tuning (SFT): >16.5M high-quality tokens generated primarily by Gemma 4 (26b/12b/4b), Qwen 3.5 (35b/4b), and complex code from DeepSeek v4 Flash.
🚀 Capabilities & Advantages
- Text Processing & Math: Retains the ability to solve arithmetic operations step-by-step (addition/subtraction up to hundreds of thousands), though with lower overall accuracy compared to the 260M version due to its microscopic size.
- Languages: Comprehension of Russian, English, and French.
- Efficiency: Extremely fast inference on any CPU/GPU due to the 93M parameter count and GQA architecture.
💡 Prompting & System Prompt
The model uses a strict ChatML format.
Standard Mode (No thinking):
1<|im_start|>user
2[NOTHINK] {prompt}<|im_end|>
3<|im_start|>assistant
Reasoning Mode ([THINK] token):
To force the model to "think" and use logic before answering, modify the prompt template. If you are using LM Studio, simply type . right before your prompt (without a space).
1<|im_start|>user
2[THINK] {prompt}<|im_end|>
3<|im_start|>assistant
🇷🇺 Описание на русском
Это сверхлегкая «Flash» версия в линейке dpp-gpt-V2.1.
Микроскопическая большая языковая модель, обученная полностью с нуля.
⚙️ Детали модели
- Параметры: 93M
- Слои / Размерность / Головы: 11 / 768 / 12
- Контекст: 4096 токенов
- Размер словаря: 32768
- Формат: GGUF / PyTorch (.pth)
- Лицензия: Apache 2.0
📊 Обучающие данные
- Претрейн (Pre-training): ~11.26 млрд токенов (~121.1 токена на параметр).
- Файнтюнинг (SFT): >16.5 млн высококачественных токенов, сгенерированных в основном с помощью Gemma 4 (26b/12b/4b), немного Qwen 3.5 (35b/4b) и сложным кодом от DeepSeek v4 Flash.
🚀 Способности и преимущества
- Обработка текста и математика: Сохраняет способность пошагово решать арифметические задачи (сложение/вычитание до сотен тысяч), однако из-за микроскопического размера общая точность ниже по сравнению с версией на 260M.
- Языки: Понимание русского, английского и французского языков.
- Эффективность: Чрезвычайно быстрый инференс на любом CPU/GPU благодаря размеру в 93М параметров и архитектуре GQA.
💡 Промпты и системный промпт
Модель строго использует формат ChatML.
Стандартный режим (Без размышлений):
1<|im_start|>user
2[NOTHINK] {prompt}<|im_end|>
3<|im_start|>assistant
Режим размышления (токен [THINK]): Чтобы заставить модель "думать" и использовать логику перед ответом, измените шаблон промпта. Если вы используете LM Studio, просто напишите . прямо перед вашим запросом (без пробела).
1<|im_start|>user
2[THINK] {prompt}<|im_end|>
3<|im_start|>assistant
Hotfix
The GGUF files in this repository were re-uploaded as a hotfix.
An LM Studio update changed the way special tokens are handled, which made the
previously published GGUF files generate broken output. The conversion has been
fixed and the quantizations here were rebuilt from the corrected model. The
weights are unchanged — only the token metadata inside the GGUF files.
If you downloaded a GGUF from this repository before this commit, please
download it again.
