Оценка отзыва на казахском языке, от 1 до 5 звёзд
Дообучение kz-transformers/kaz-roberta-conversational на датасете KazSAnDRA, задача score classification.
Учебная модель, занятие 37 курса AI/ML, Astana IT University.
Данные
KazSAnDRA (Yeshpanov, Varol, 2024), подвыборка 20,000 отзывов из 140,126.
Валидация и тест авторские, без изменений.
Результаты на тесте
| метрика | значение |
|---|
| macro-F1 | 0.312 |
| accuracy | 0.770 |
| промах не более 1 звезды | 0.843 |
Для сравнения: лучший результат оригинальной статьи macro-F1 0.39 на полном датасете.
Ограничения
Классы сильно несбалансированы: 72 процента отзывов имеют оценку 5.
Модель редко предсказывает оценки 2 и 3. Метки соответствуют оценке
пользователя, а не тональности текста, поэтому часть примеров противоречива.
Домен: отзывы о мобильных приложениях, книгах, картах и маркетплейсах.
За пределами этого домена качество не проверялось.
Как использовать
1from transformers import pipeline
2pipe = pipeline("text-classification", model="olzhasAl/kazsandra-sc-kaz-roberta-conversational")
3pipe("өте жақсы қосымша")
