В этой домашней работе вам предоставится уникальная возможность обучить Byte-level BPE токенизатор и небольшую LM.
Домашняя работа состоит из нескольких последовательных блоков: реализация и обучение токенизатора, реализация Transformer модели и обучение модели на датасете с русскими анекдотами!
Репорт качества:
График обучения
Примеры генерации:
Заходит в бар на кухню, бармен говорит:- Доктор, помогите мне, много лет.Врач:- Я вижу какой-то клуб!- Отличное дело, у меня есть морг?
Заходит в бар, закусывается, встает, а тут мужик:- Я хочу сходить за курицей.- Да, милый, пять раз в год пятнадцать...
Штирлиц пригласил бутылку.
Штирлиц подумал, что в руке был песок и согласился.
