Views
No views yet
ZeroAI-50M — это компактная, высокоэффективная языковая модель (~50 млн параметров) на базе декодерной архитектуры в стиле LLaMA 3 / GPT (RMSNorm, RoPE, SwiGLU, KV-Cache), обученная с нуля на русскоязычном корпусе диалогов и контекста. Данный репозиторий содержит оптимизированные веса в формате GGUF для мгновенного запуска в LM Studio, llama.cpp, Ollama, Jan и других локальных инференс-движках.
| Свойство | Значение |
|---|---|
| 🏗 Архитектура | Causal Decoder-Only Transformer (LLaMA-style) |
| 🧮 Параметры | 50 027 008 (~50M) |
| 📏 Контекстное окно | 256 токенов |
| 🔤 Словарь | 8 192 токена (Subword Trie Tokenizer, RU + EN) |
| ⚙️ Нормализация | RMSNorm (eps=1e-6) |
| 🌀 Позиции | Rotary Position Embeddings (RoPE) |
| 🚀 FFN | SwiGLU (Swish Gated Linear Unit, d_ff=1472) |
| ⚡ Инференс | Paged KV-Cache + Fast Sampling (Top-K, Top-P, Repetition Penalty) |
| 🌐 Язык | Русский (основной), Английский (базовый) |
| Файл | Квантование | Размер | Назначение и рекомендации |
|---|---|---|---|
ZeroAI-50M-F16.gguf | F16 | 102.4 MB | максимальное качество (LM Studio / llama.cpp) |
💡 Рекомендация: Для большинства пользователей и LM Studio рекомендуется версияZeroAI-50M-Q4_K_M.gguf— минимальное потребление RAM при сохранении высокого качества генерации.
qlypse/ZeroAI-50M-GGUF или просто перетащите скачанный .gguf файл в окно программы.ZeroAI-50M-Q4_K_M.gguf.llama.cpp (CLI)1# Генерация ответа в терминале
2llama-cli -m ZeroAI-50M-Q4_K_M.gguf \
3 -p "User: Привет! Расскажи о себе.\nAssistant:" \
4 -n 128 \
5 --temp 0.7 \
6 --top-k 40 \
7 --top-p 0.9 \
8 -t 4llama-cpp-python)1from llama_cpp import Llama
2
3# Инициализация модели GGUF
4llm = Llama(
5 model_path="ZeroAI-50M-Q4_K_M.gguf",
6 n_ctx=256,
7 n_threads=4,
8)
9
10# Формат диалога
11prompt = "User: Привет! Как дела?\nAssistant:"
12
13# Генерация
14output = llm(
15 prompt,
16 max_tokens=64,
17 temperature=0.7,
18 top_p=0.9,
19 stop=["User:", "\n\n"],
20)
21
22print(output["choices"][0]["text"])Modelfile:1FROM ./ZeroAI-50M-Q4_K_M.gguf
2
3TEMPLATE """User: {{ .Prompt }}
4Assistant:"""
5
6PARAMETER stop "User:"
7PARAMETER stop "Assistant:"
8PARAMETER temperature 0.7
9PARAMETER top_p 0.91ollama create zeroai-50m -f Modelfile
2ollama run zeroai-50m "Привет! Как дела?"1User: {текст запроса}
2Assistant: {ответ модели}benchmark_small_models.py (окно PPL: 256 токенов, генерация: до 40 ток., устройство: CPU/GPU).⚠️ TinyStories и Supra обучены только на английском — их PPL-RU приведён для справки. ZeroAI обучен только на русском — PPL-EN тоже справочный.
| Модель | Параметры | PPL (RU) ↓ | PPL (EN) ↓ | Скорость (ток/с) |
|---|---|---|---|---|
| ZeroAI-50M (RU) | 50,027,008 | 52481.3 | 182051.4 | 73.6 |
| roneneldan/TinyStories-33M | — | — | — | ошибка: Due to a serious vulnerability issue in torch.load, even with weights_only=True, we now require users to upgrade torch to at least v2.6 in order to use the function. This version restriction does not apply when loading files with safetensors. |
| See the vulnerability report here https://nvd.nist.gov/vuln/detail/CVE-2025-32434 | ||||
| roneneldan/TinyStories-15M | — | — | — | ошибка: roneneldan/TinyStories-15M is not a local folder and is not a valid model identifier listed on 'https://huggingface.co/models' |
If this is a private repository, make sure to pass a token having permission to this repo either by logging in with hf auth login or by passing token=<your_token> | ||||
| roneneldan/TinyStories-8M | — | — | — | ошибка: Due to a serious vulnerability issue in torch.load, even with weights_only=True, we now require users to upgrade torch to at least v2.6 in order to use the function. This version restriction does not apply when loading files with safetensors. |
| See the vulnerability report here https://nvd.nist.gov/vuln/detail/CVE-2025-32434 | ||||
| SupraLabs/Supra-50M-Reasoning | — | — | — | ошибка: 'HFRunner' object has no attribute 'last_gen_tokens' |
User: Привет! Как дела? Расскажи что-нибудь интересное о космосе. Assistant:Яблоки меня зависит отжелтого опуститься.
Once upon a time, there was a little girl named Lily. She loved to' ' человеку' — ' Гамп' —- ' Коко' — ' искусство! Задавай- ' человеку' — ' Гамп для' — ' интеллект' — 'Матрицу!