BERT for SST-2 Sentiment Classification
Этот репозиторий содержит дообученный модельный чекпоинт bert-base-uncased для задачи бинарной классификации тональности на датасете SST-2 из набора GLUE. [file:1]
Модель
- Базовая архитектура:
bert-base-uncased (12 слоёв, скрытый размер 768, 12 голов внимания).
- Задача: бинарная классификация тональности (положительная / отрицательная).
- Заголовок классификации: полносвязный слой поверх [CLS]-эмбеддинга.
Датасет
Модель обучена на подмножестве GLUE SST-2:
- Train: 67 349 примеров.
- Validation: 872 примера.
- Test: 1 821 пример.
Входные данные — отдельные предложения на английском языке, размеченные как положительные или отрицательные по тональности.
Обучение
Основные параметры обучения:
- Epochs: 3
- Learning rate: 2e-5
- Batch size (per device): 16
- Weight decay: 0.01
- Evaluation strategy:
epoch
- Метрика для выбора лучшей модели:
accuracy на валидации.
Запуск тренировки выполнялся через Trainer из transformers:
Результаты
По итогам обучения (3 эпохи) модель достигла следующей точности на валидационной выборке SST-2:
- Validation accuracy ≈ 0.86
- Validation loss ≈ 0.34–0.53 (по эпохам).
Использование
Пример использования через pipeline:
from transformers import pipeline
classifier = pipeline(
"text-classification",
model="powerpuff-luv/bert-sst2-sentiment-classifier",
)
classifier("The weather is not good today.")
Выход — метка POSITIVE или NEGATIVE с вероятностью.
Лицензия и ограничения
- Базовая модель:
bert-base-uncased (лицензия от Hugging Face/Google; см. страницу модели).
- Датасет: GLUE SST-2, используемый для исследовательских и образовательных целей.
- Модель предназначена для учебных и исследовательских задач по анализу тональности на английском языке; не рекомендуется применять её в проде без дополнительной валидации.
