You can deploy this model and start earning money today!

Ahbdjbdsh/
Dataset-from-HOMEWORK-2

Name: Dataset-from-HOMEWORK-2
Availability: InStock

Views

No views yet

ru-en-RoSBERTa Toxicity Classifier (Homework 2)

Это модель для бинарной классификации русскоязычных комментариев на предмет токсичности (1 — toxic, 0 — neutral). Модель построена на базе предобученной архитектуры ai-forever/ru-en-RoSBERTa и дообучена в рамках выполнения Домашнего задания №2.

Метрики качества на тестовой выборке

По результатам оценки модели (evaluate_model) на сбалансированном тестовом множестве были получены следующие показатели:

Accuracy: 90.27%
Precision: 91.30%
Recall: 89.03%
F1-Score: 90.15%
ROC AUC: 0.956
MCC (Коэффициент Мэттьюса): 0.806

Особенности модели и порог классификации

В ходе анализа ошибок и ручного инференса было установлено, что модель успешно детектирует маркеры скрытой и пассивной агрессии (повышая внутреннюю вероятность токсичности до 0.34 - 0.45). Однако стандартный жесткий порог argmax (0.5) может пропускать такие завуалированные фразы. Для деплоя в продакшен рекомендуется калибровать порог классификации под конкретную бизнес-задачу.

Пример использования (Inference)

python

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

tokenizer = AutoTokenizer.from_pretrained("Ahbdjbdsh/Dataset-from-HOMEWORK-2")
model = AutoModelForSequenceClassification.from_pretrained("Ahbdjbdsh/Dataset-from-HOMEWORK-2")

text = "Вы что, совсем тупой? Я же уже объяснял!"
inputs = tokenizer(text, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)
    probs = torch.softmax(outputs.logits, dim=-1)
    prediction = torch.argmax(outputs.logits, dim=1).item()

print(f"Класс: {prediction}, Вероятность токсичности: {probs[0][1].item():.4f}")