multitask-toxic-encoder – AI Model by NikolayRainWay | AlphaNeural AI

You can deploy this model and start earning money today!

NikolayRainWay/
multitask-toxic-encoder

like

0

multi-label-classification

text-classification

Views

No views yet

Multi-Task Toxicity Classifier

Описание

Модель для многозадачной (multi-task) классификации токсичности текста по трём классам:

Profanity (ненормативная лексика, мат)
Threats (угрозы)
Illegal acts (запросы на нарушение закона)

Модель построена на базе лёгкого энкодера cointegrated/rubert-tiny2 с тремя независимыми классификационными головами.

Метрики на тестовой выборке

Класс	Порог	Precision	Recall	F1
profanity	0.95	0.7657	0.8015	0.7832
threat	0.95	0.4267	0.9078	0.5805
illegal	0.95	0.5089	0.8824	0.6455

Использование

Для загрузки модели используйте следующий код:

python

import torch
from transformers import AutoTokenizer
from modeling import MultiTaskToxicityEncoder  # файл из репозитория

# Загрузка токенизатора
tokenizer = AutoTokenizer.from_pretrained("NikolayRainWay/multitask-toxic-encoder")

# Загрузка модели (веса из репозитория)
model = MultiTaskToxicityEncoder()
model.load_state_dict(torch.load("pytorch_model.bin", map_location='cpu'))
model.eval()

Автор

NikolayRainWay (в рамках учебного курса по трансформерным энкодерам)

Датасет Обучен на датасете NikolayRainWay/multitask-very-toxic-comments

Лицензия MIT