Название модели
TinyLlama-1.1B-Chat-v1.0, fine-tuned с помощью QLoRA для определения тональности твитов
Описание
Модель была обучена на датасете с англоязычными твитами. Модель может определять их тональность: positive (положительная), negative (штрицательная) или neutral (нейтральная)
Архитектура
При файнтьюнинге к слоям с 'k_proj' и 'v_proj' в названиях была применена LoRA, остальные слои были заморожены. Гиперпараметры:
training_arguments = TrainingArguments(learning_rate=LEARNING_RATE*10, num_train_epochs=1, gradient_accumulation_steps=1, lr_scheduler_type='linear', per_device_train_batch_size=8)
peft_config = LoraConfig(
lora_alpha=8,
lora_dropout=0.01,
r=16,
bias="none",
task_type="CAUSAL_LM",
target_modules=['k_proj','v_proj'],
)
Данные
Во время файнтьюнинга модель обучалась на датасете cardiffnlp/tweet_eval.
Оценка качества
Macro F1 после файнтьюнинга: 0.52
Примеры генерации
"QT @user In the original draft of the 7th book, Remus Lupin survived the Battle of Hogwarts. #HappyBirthdayRemusLupin"
positive
positive
==========
"Ben Smith / Smith (concussion) remains out of the lineup Thursday, Curtis #NHL #SJ"
neutral
neutral
==========
Sorry bout the stream last night I crashed out but will be on tonight for sure. Then back to Minecraft in pc tomorrow night.
neutral
neutral
==========
Chase Headley's RBI double in the 8th inning off David Price snapped a Yankees streak of 33 consecutive scoreless innings against Blue Jays
neutral
neutral
==========
@user Alciato: Bee will invest 150 million in January, another 200 in the Summer and plans to bring Messi by 2017"
positive
neutral
==========
