Модель RuBERT была дообучена на задачу sentiment classification для короткого Russian корпуса. Задача представляет собой multi-class classification со следующими метками:

yaml

neutral
positive
negative

Usage

python

from transformers import pipeline
model = pipeline(model="r1char9/rubert-base-cased-russian-sentiment")
model("Привет, ты мне нравишься!")
# [{'label': 'positive', 'score': 0.8220236897468567}]

Dataset

Модель была натренирована на данных:

Kaggle Russian News Dataset
Linis Crowd 2015
Linis Crowd 2016
RuReviews
RuSentiment

yaml

tokenizer.max_length: 256
batch_size: 32
optimizer: adam
lr: 0.00001
weight_decay: 0
epochs: 2