QLoRA-адаптер поверх Qwen/Qwen2.5-3B-Instruct, дообученный генерировать русскоязычные крипипасты и сатирические псевдо-энциклопедические статьи. Стиль намеренно с уклоном в «так плохо, что хорошо»: жуть пополам с иронией.

Это LoRA-адаптер (~120 МБ), не полная модель — он подгружается поверх базовой Qwen2.5-3B-Instruct.

Применение / Intended use

Генерация коротких хоррор-историй и крипипаст на русском (развлекательная фикция).
Генерация ироничных «энциклопедических» статей в духе интернет-фольклора.

Не предназначено для: фактологии, справочной информации, любых задач, где важна достоверность. Вывод — художественный вымысел, часто абсурдный и намеренно НЕ пугающий.

Как запустить

python

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import PeftModel

BASE = "Qwen/Qwen2.5-3B-Instruct"
ADAPTER = "oriewhy/qwen2.5-3b-creepypasta-ru"   # или локальный путь к адаптеру

bnb = BitsAndBytesConfig(
    load_in_4bit=True, bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16, bnb_4bit_use_double_quant=True,
)
tok = AutoTokenizer.from_pretrained(ADAPTER)
model = AutoModelForCausalLM.from_pretrained(BASE, quantization_config=bnb, device_map="auto")
model = PeftModel.from_pretrained(model, ADAPTER)

msgs = [{"role": "user", "content": "Напиши крипипасту под названием «Лифт на 13-й этаж»"}]
inputs = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(inputs, max_new_tokens=600, do_sample=True, temperature=0.7,
                     top_p=0.9, repetition_penalty=1.1)
print(tok.decode(out[0][inputs.shape[1]:], skip_special_tokens=True))

Формат промпта, на котором обучали:

крипипаста: 'Напиши крипипасту под названием «<тема>».'
хоррор от первого лица: 'Напиши страшную историю от первого лица под названием «<тема>».'
сатира: 'Напиши ироничную статью в духе сатирической интернет-энциклопедии на тему «<тема>».'

Данные

~28000 примеров «тема → текст», собранных из публичных вики:

Мракопедия — русскоязычная вики крипипаст (хоррор-сторона);
Неолурк (народный форк Lurkmore) — сатирическая интернет-энциклопедия (ироничный флейвор).

Контент источников распространяется под свободными лицензиями (CC-BY-SA и т.п.). Данные собирались для исследовательского дообучения.

Обучение

Параметр	Значение
Метод	QLoRA (4-bit NF4, double quant)
LoRA	r=16, alpha=32, dropout=0.05, target: q/k/v/o/gate/up/down_proj
Эпохи	2 (на практике достаточно 1 — eval_loss выходит на плато)
Эффективный batch	16 (1 × grad_accum 16)
Длина последовательности	512
LR / scheduler	2e-4 / cosine, warmup 3%, optimizer paged_adamw_8bit
Финальный train/eval loss	~1.82 / ~1.98

Ограничения

Обучение шло с обрезкой текстов на 512 токенов, поэтому модель слабо «чувствует концовку» — на больших max_new_tokens может растекаться/повторяться (помогает repetition_penalty).
По той же причине сатирический голос лурка слабее хоррора: длинные лурк-статьи обрезались на вступлении, до того как разгоняется стёб.
Базовая модель всего 3B — связность ниже, чем у крупных моделей.
Только русский язык.

Лицензия

Базовая модель Qwen2.5-3B-Instruct распространяется под Qwen Research License (qwen-research) — это некоммерческая, исследовательская лицензия (НЕ Apache 2.0). Её условия распространяются на этот производный адаптер:

✅ исследования, личное и иное некоммерческое использование;
❌ коммерческое использование запрещено.