Модель для эротического ролеплея. Неплохо держит конекст, параметры для старта:
do_sample: true
top_p: 0.96 # Выше 1.2 - будет сильно уходить от контекста
top_k: 14
temperature: 0.88
repetition_penalty: 1.16
encoder_repetition_penalty: 1.09-1.15
typical_p: 1.0
Для чата желательно останавливать после '\n', также ставьте более 5 попыток генерации и ожидаемое количество новых токенов > 150, тогда диалоги будут интереснее.
Очень желательно в контексте и во время диалога указывать действия и мысли в скобках. Например: Привет (вхожу в комнату, закрываю дверь)
Датасет подготовлен по технологии TiMe
Оптимизированный фронтенд для данных моделей в режиме чата под Android -
https://github.com/zlsl/pocketaiДля пользователей text-generation-webui
В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер.
Ошибка такая:
eos_token_id = eos_token_id[0]
IndexError: list index out of range
Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку
tokenizer.eos_token_id = 2
перед
return tokenizer
