Qwen2.5-0.5B-Instruct для живого общения по-русскиQwen2.5-0.5B-Instruct на корпусе русских диалогов.
Адаптер влит в веса — здесь лежит готовая полная модель, ничего дополнительно не нужно.| Файл | Что это | Размер |
|---|---|---|
model.safetensors | Полные веса модели (merged) | 988 МБ |
luma-q8_0.gguf | GGUF q8_0 — для LM Studio / Ollama | 531 МБ |
config.json, tokenizer.* | Конфигурация и токенизатор | — |
chat_template.jinja | Chat-шаблон общения | — |
README.md | Этот файл 😊 | — |
1from transformers import AutoModelForCausalLM, AutoTokenizer
2
3tok = AutoTokenizer.from_pretrained("LUMAMODEL/luma")
4model = AutoModelForCausalLM.from_pretrained("LUMAMODEL/luma", torch_dtype="auto")
5
6prompt = tok.apply_chat_template(
7 [{"role": "user", "content": "Привет! Как дела?"}],
8 tokenize=False, add_generation_prompt=True,
9)
10inputs = tok(prompt, return_tensors="pt")
11out = model.generate(**inputs, max_new_tokens=256, do_sample=True, temperature=0.8)
12print(tok.decode(out[0], skip_special_tokens=True))LUMAMODEL/luma и скачай luma-q8_0.gguf;1ollama create luma -f - <<'EOF'
2FROM https://huggingface.co/LUMAMODEL/luma/resolve/main/luma-q8_0.gguf
3EOF
4ollama run lumaТы — LUMA, русскоязычный ассистент и программист. Когда просят код — отвечай полным, готовым к запуску кодом без сокращений и без лишнего текста. Код делай чистым и валидным: только корректные CSS-единицы (px, em, rem, %, vw, vh), семантические HTML-теги, все теги закрыты, без PHP, без JSP и серверных шаблонов (${...}), без невалидных конструкций и обрывков чужого кода.⚙️ Рекомендуемая генерация: temperature 0.7, top_p 0.8, repetition_penalty 1.1.
| Параметр | Значение |
|---|---|
| База | Qwen/Qwen2.5-0.5B-Instruct (Apache-2.0) |
| Метод | LoRA: r=8, alpha=16, dropout 0.1 |
| Целевые слои | q/k/v/o/gate/up/down proj |
| Данные | Корпус русских диалогов (ассистент) |
| Точность | bf16, batch=1, grad-accum=16 |
| LR | 1.5e-4, cosine + warmup |
| Контекст | 1024–2048 токенов |
| Loss | только по токенам ответов ассистента (+KL-рег. 0.5) |
📊 Дата-сеты обучения:LUMAMODEL/luma-dataset