Views
No views yet
p-e-w/Qwen3-4B-Instruct-2507-heretic, оптимизированная для русского языка и сложных задач рассуждения, программирования и логических головоломок с использованием элитного датасета GrandMaster2.| Особенность | Описание |
|---|---|
| 🧠 Продвинутая архитектура | Построена на экспериментальной версии Qwen3 "Heretic" |
| 🇷🇺 Русский язык | Дообучена для высококачественной работы с русским языком |
| ⚡ Технология DoRA | Weight-Decomposed LoRA (r=64, alpha=128) для превосходной способности обучения |
| 💎 Безкомпромиссное качество | Обучение в нативной точности bfloat16 без квантизации |
| 📚 Элитные данные | Дообучка на оптимизированной версии Vikhrmodels/GrandMaster2 |
| 🎯 Точная настройка | Низкая скорость обучения с косинусным планировщиком для предотвращения переобучения |
|
⚙️ Оборудование и время
|
🧬 Архитектура
|
|
🔬 Точность
|
📚 Данные
|
1import torch
2from transformers import AutoTokenizer, AutoModelForCausalLM
3
4# Загрузка модели
5model_id = "AugustLight/LLightPro"
6tokenizer = AutoTokenizer.from_pretrained(model_id)
7model = AutoModelForCausalLM.from_pretrained(
8 model_id,
9 torch_dtype=torch.bfloat16,
10 device_map="auto"
11)
12
13# Пример использования
14messages = [
15 {"role": "system", "content": "Ты полезный ассистент, заточенный на помощь в ответах на вопросы на русском языке."},
16 {"role": "user", "content": "Напиши функцию на Python для решения задачи о рюкзаке с использованием динамического программирования."}
17]
18
19text = tokenizer.apply_chat_template(
20 messages,
21 tokenize=False,
22 add_generation_prompt=True
23)
24
25inputs = tokenizer(text, return_tensors="pt").to(model.device)
26
27outputs = model.generate(
28 **inputs,
29 max_new_tokens=1024,
30 temperature=0.7,
31 top_p=0.9,
32 do_sample=True
33)
34
35response = tokenizer.decode(outputs[0], skip_special_tokens=True)
36print(response)1# Скачайте GGUF версию модели
2# Запустите с помощью llama.cpp
3./main -m model.gguf -p "Ты полезный ассистент..." -n 5121generation_config = {
2 "max_new_tokens": 1024,
3 "temperature": 0.7, # Для творческих задач: 0.8-1.0
4 "top_p": 0.9,
5 "top_k": 50,
6 "repetition_penalty": 1.1,
7 "do_sample": True
8}1messages = [
2 {"role": "system", "content": "Ты дружелюбный и полезный ассистент."},
3 {"role": "user", "content": "Объясни принцип работы нейронных сетей простыми словами."}
4]1messages = [
2 {"role": "system", "content": "Ты опытный программист Python."},
3 {"role": "user", "content": "Создай класс для работы с двоичным деревом поиска с методами вставки и поиска."}
4]1messages = [
2 {"role": "system", "content": "Ты мудрый волшебник из средневекового фэнтези мира."},
3 {"role": "user", "content": "Расскажи мне о древнем артефакте, который я нашел."}
4]