Russian Jokes Transformer (HSE Course HW1)

Описание задачи

• Byte-Level BPE токенизатор (vocab = 2048)
• Transformer с ALiBi positional encoding, Grouped-Query Attention (GQA) и SwiGLU
• RMSNorm, dropout, label smoothing
• Максимальная длина контекста: 128 токенов

Технические характеристики

Проблемы на начальных этапах экспериментов

• В начале работы я реализовала Byte-Level BPE токенизатор и трансформер по заданию. Модель успешно обучалась и выдавала текст при генерации, но первое время результат выглядел так: Вход: Заходит в бар

Заходит в барXалоалоалоалокукукукуатьсяатьсяатьсяатьсякукукуышышышышививививальальальальегегегег говор говор говор говормермермермерявявявяв уб уб уб уб пл пл пл плррррТТТТистистистистийийийийникникникник тр тр тр трочочочочучучучучешешешешнойнойнойной............oooossssmmmmsss Он Он Он ОнУУУУ)

• Также на ранних этапах экспериментов график функции потерь (loss) показывал нестабильное поведение: значения сильно колебались

Основные улучшения по сравнению с базовой реализацией

• Добавлен токен [PAD] и корректная attention mask
• Введён label smoothing для стабилизации обучения
• Реализовано объединение коротких анекдотов (packing) для уменьшения доли паддингов
• Увеличен словарь токенизатора до 2048 элементов
• Настроены параметры генерации (temperature=0.7, top_k=100, top_p=0.95, repetition_penalty=1.2)

Качество обучения

Примеры генерации

Заходит в барерксьескr должен�Ну вол встречного�ятся мнойаша ВотСт муж нам МужПос весь тебе этиеньк нет Ты работуностилаговал Д акиешись суд Когдарачлед берыI машp газГ американ pрат себ�альный бутчаст=�ющ2 Нет пив котиваетегодняестьском одну Москром самПр значит женаjящ Кто от�итель дер врем как авзастд зад Првалтр ряд лежниб Потому женщиныуля быть Об телеф Ой делоетеине тебаксVлеуд предлож держ приш хорошо вот доб лучстигр собак внейчас� бо?аботров дет уж черезухонч проп кто&ьеогда новыйуютиласьера К иск умерключ хочеткрасп обрат алсь меняывgрыотор штак 2 куда% снимык Здаласьний� апыран расиент тоже второй во� э я негоенииги нее Если опится Все�ании тр какчитель соверш хочуаяеспелен од нес маматом прик

Штирлиц росс почемуивать мальчик комнЕсли оченьырnстроитан� выход Инвер�ию вер� Аналмыствен усл главоварищ косерез всех стоит� прич душ есть Нет потомуутускh Еуп ув� ли пришив нееожЗа дол сразу согино Не открслког.-орош былиф развикуитан начин домаести прив мужч выд родит одинУ членовойататак аки�Жол док дом никто вашцетоящебоду делеpм осрастBентЕсли самалуйстарен зуб всюией?- Вамыбразуогычлаг моей подходит� без Изажеяхота мне- жену белкий женыоном вам остановjшаенькаайте Мского[PAD] богх помодава кор имрам никогда Ктотьогдачноной� сто Толькоран страшш телев заг сделша Конечноства ок -jомниль ш любЛуйте ответманHычась сред выситан� бограф Если ничего� пред исп наведоментлич съельзяники заним+аясь куда:- да�

Вывод

Автор