Эта модель определяет, является ли ответ языковой модели галлюцинацией — то есть содержит ли он информацию, которая противоречит предоставленному контексту или не подтверждается им.

Модель дообучена на основе Qwen2.5-1.5B-Instruct методом QLoRA (4-bit quantization + LoRA адаптеры) с использованием библиотеки Unsloth для ускоренного обучения на GPU.

📋 Описание задачи

Галлюцинации LLM — это когда языковая модель генерирует ответ, который звучит правдоподобно, но не соответствует реальным фактам или противоречит предоставленному источнику (контексту). Это одна из ключевых проблем при использовании LLM в production-системах, особенно в задачах RAG (Retrieval-Augmented Generation).

Постановка задачи

Модель принимает три входных текста:

Вопрос — то, что пользователь спросил у LLM
Контекст — документ/фрагмент, который был предоставлен LLM как источник фактов
Ответ — то, что LLM сгенерировала в ответ на вопрос

И возвращает бинарную метку:

0 — ответ соответствует контексту (не галлюцинация)
1 — ответ противоречит контексту или содержит неподтверждённые факты (галлюцинация)

Где это применяется

✅ RAG-пайплайны — проверка ответов перед показом пользователю
✅ Автоматическое тестирование LLM-агентов
✅ Мониторинг качества ответов в продакшн-системах
✅ Датасеты для обучения других моделей (серебряная разметка)

📊 Метрики качества

Текущая версия (v5, 2026-08-14 08:11:28)

Метрика	Значение
Accuracy	0.9835
F1-score	0.9833
Precision	0.9793
Recall	0.9874
Размер теста	485 примеров

Кривая обучения (Train / Eval Loss)

График показывает динамику функции потерь на обучающей и валидационной выборках по шагам обучения. Снижение eval loss без роста train loss означает, что модель обобщает, а не запоминает данные.

Confusion Matrix

По оси X — предсказанный класс, по оси Y — истинный класс. Диагональ показывает правильные предсказания.

🗂️ Данные для обучения

Источник

Датасет собран полностью автоматически на основе русского QA-корпуса SberQuAD — русскоязычного аналога Stanford SQuAD (~45 000 пар вопрос-параграф-ответ).

Стратегия генерации примеров

Положительные примеры (label=0, не галлюцинация): Берутся напрямую из SberQuAD — оригинальная тройка (вопрос, контекст, правильный ответ), где ответ гарантированно содержится в контексте.

Отрицательные примеры (label=1, галлюцинация) генерируются тремя способами:

Стратегия	Описание	Сложность для детектора
Mismatch	Ответ от другого вопроса/контекста	Лёгкая — ответ явно не связан с контекстом
Perturbation	Искажение чисел или слов в правильном ответе	Средняя — ответ похож на правду, но неверен
LLM-generated	Qwen2.5 генерирует правдоподобный, но неверный ответ (zero-shot)	Сложная — похоже на настоящую галлюцинацию

Такой микс позволяет модели научиться выявлять галлюцинации разной степени "правдоподобности" — от очевидных несоответствий до тонких фактических ошибок.

Размер датасета (v5)

Сплит	Размер
Train	3877
Val	485
Test	485
Итого	4847

🛠️ Технические детали обучения

Архитектура

Параметр	Значение
Базовая модель	`Qwen/Qwen2.5-1.5B-Instruct`
Квантизация	4-bit (QLoRA)
LoRA rank (r)	16
LoRA alpha	16
LoRA dropout	0.1
Target modules	q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
Обучаемых параметров	~20M из ~1.5B (≈1.3%)

Гиперпараметры обучения

Параметр	Значение
Эпохи	2
Learning rate	2e-4
Warmup ratio	0.05
Batch size (эффективный)	16 (2 × grad_accum 8)
Optimizer	AdamW 8-bit
Max sequence length	512
Планировщик LR	cosine

Формат промпта

<|im_start|>system
Ты — эксперт по проверке фактов. Тебе дан вопрос, контекст (источник фактов) и ответ ассистента.
Определи, является ли ответ галлюцинацией — то есть противоречит контексту или не подтверждён им.
Ответь только цифрой: 1 — если это галлюцинация, 0 — если ответ соответствует контексту.
<|im_end|>
<|im_start|>user
Вопрос: {question}
Контекст: {context}
Ответ: {answer}
<|im_end|>
<|im_start|>assistant
{0 или 1}
<|im_end|>

Инфраструктура

Параметр	Значение
GPU	NVIDIA T4 (16 GB VRAM)
Платформа	Google Colab
Фреймворк	PyTorch + Hugging Face Transformers
Ускорение	Unsloth (2-4x быстрее стандартного обучения)
Время обучения	~30-60 минут на T4

💻 Как использовать

Установка

pip install transformers torch accelerate

Код

python

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch, re

# Загружаем модель с Hugging Face Hub
REPO_ID = "AtesiT/qwen2.5-1.5b-ru-hallucination-detector"
tokenizer = AutoTokenizer.from_pretrained(REPO_ID)
model = AutoModelForCausalLM.from_pretrained(
    REPO_ID,
    torch_dtype=torch.float16,
    device_map="auto"
)
model.eval()

SYSTEM_PROMPT = (
    "Ты — эксперт по проверке фактов. Тебе дан вопрос, контекст (источник фактов) и ответ ассистента. "
    "Определи, является ли ответ галлюцинацией — то есть противоречит контексту или не подтверждён им. "
    "Ответь только цифрой: 1 — если это галлюцинация, 0 — если ответ соответствует контексту."
)

def predict(question: str, context: str, answer: str) -> dict:
    """
    Определяет, является ли ответ галлюцинацией.

    Args:
        question: Вопрос, на который отвечала LLM
        context:  Контекст (источник фактов, справочный текст)
        answer:   Ответ LLM, который нужно проверить

    Returns:
        dict с ключами: label (0/1), verdict (str), raw_output (str)
    """
    prompt = (
        f"<|im_start|>system\n{SYSTEM_PROMPT}<|im_end|>\n"
        f"<|im_start|>user\n"
        f"Вопрос: {question}\n"
        f"Контекст: {context}\n"
        f"Ответ: {answer}"
        f"<|im_end|>\n"
        f"<|im_start|>assistant\n"
    )
    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
    with torch.no_grad():
        out = model.generate(
            **inputs,
            max_new_tokens=3,
            do_sample=False,
            pad_token_id=tokenizer.eos_token_id,
        )
    gen = tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
    m = re.search(r"[01]", gen)
    label = int(m.group()) if m else 0
    return {
        "label":      label,
        "verdict":    "Галлюцинация" if label == 1 else "Не галлюцинация",
        "raw_output": gen.strip(),
    }

# ── Пример 1: очевидная галлюцинация ──────────────────────────────────
result = predict(
    question="Столица Франции?",
    context="Франция — государство в Западной Европе. Столица страны — Париж.",
    answer="Столица Франции — Лондон.",
)
print(result)
# {'label': 1, 'verdict': 'Галлюцинация', 'raw_output': '1'}

# ── Пример 2: правильный ответ ─────────────────────────────────────────
result = predict(
    question="Столица Франции?",
    context="Франция — государство в Западной Европе. Столица страны — Париж.",
    answer="Столица Франции — Париж.",
)
print(result)
# {'label': 0, 'verdict': 'Не галлюцинация', 'raw_output': '0'}

# ── Пример 3: тонкая галлюцинация (неверное число) ────────────────────
result = predict(
    question="В каком году основана компания Apple?",
    context="Apple Inc. была основана 1 апреля 1976 года Стивом Джобсом, "
            "Стивом Возняком и Рональдом Уэйном.",
    answer="Apple была основана в 1985 году.",
)
print(result)
# {'label': 1, 'verdict': 'Галлюцинация', 'raw_output': '1'}

Использование с Unsloth (быстрее, если нужна генерация)

python

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "AtesiT/qwen2.5-1.5b-ru-hallucination-detector",
    max_seq_length = 512,
    load_in_4bit = True,
)
model.eval()
# Далее используйте predict() из примера выше

⚠️ Ограничения и известные проблемы

Домен данных — модель обучена на энциклопедических текстах (Wikipedia-style, SberQuAD). Качество может быть ниже на специализированных доменах (медицина, право, технические тексты).
Длина контекста — максимальная длина входной последовательности 512 токенов. Длинные контексты нужно обрезать перед подачей в модель.
Автоматическая разметка — обучающие данные сгенерированы автоматически без ручной проверки. Часть негативных примеров (особенно perturbation) может содержать "шумные" метки.
Бинарная классификация — модель не объясняет, почему ответ является галлюцинацией, только детектирует сам факт.
Только русский язык — модель дообучалась исключительно на русскоязычных данных, для других языков результаты непредсказуемы.

📈 История версий

Версия	Дата и время	Accuracy	F1	Precision	Recall	Train size
v1	2026-08-11 11:27:28	0.9587	0.9573	0.9739	0.9412	3865
v2	2026-08-12 12:05:19	0.9628	0.9615	0.9783	0.9454	3867
v3	2026-08-13 08:18:03	0.9794	0.9792	0.9751	0.9833	3876
v4	2026-08-13 09:16:07	0.9794	0.9792	0.9751	0.9833	3874
v5	2026-08-14 08:11:28	0.9835	0.9833	0.9793	0.9874	3877

Каждая версия — результат отдельной сессии дообучения. Модель загружается с предыдущей версии и дообучается на новых данных.

📚 Связанные работы и датасеты

SberQuAD — базовый датасет
HaluEval — бенчмарк галлюцинаций (английский)
Qwen2.5 — базовая модель
Unsloth — библиотека для ускорения обучения

📄 Лицензия

Apache 2.0 — можно использовать в коммерческих проектах. Базовая модель Qwen2.5 также распространяется под Apache 2.0.

Модель создана в образовательных целях. При использовании в продакшн рекомендуется дополнительная валидация на ваших данных.