zlsl/

m_cosmos

Модель для генерации текстов по космосу, астрофизике, космонавтике

В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер. Ошибка такая:

Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку
tokenizer.eos_token_id = 2
перед
return tokenizer