Обучение: обучена на ~151k примерах русских анекдотов из IgorVolochay/russian_jokes. Использован Byte-level BPE токенизатор с vocab_size=1024.
В режиме генерации (инференса, метод inference) модель принимает некоторый префикс, с которого начинать генерацию, и продолжает его. Для этого на каждом шаге генерируются новые логиты, семплируется новый токен (из распределения, заданного логитами), и процесс продолжается, пока не будет сгенерирован токен EOS или не будет достигнуто ограничение на длину последовательности.
Снимок экрана 2025-10-27 в 16.41.20
#Примеры генерации.
Input: "Заходит в бар".
Output: "Заходит в баре и говорит:- Ты мне такое, а как у вас нее у меня сегодня утра?- Нет.- Ну какой ты счастливо, но и не волны не восточная, я папа идем - дурака." (сгенерировано с top_k=10, temperature=1.0)
Input: "Я думаю".
Output: "Я думаю, что он держит в маленький квартир, вчера в палате, а теперь сразу играет и дорогу с дружбы и не успел!" (сгенерировано с top_k=10, temperature=1.0)
Input: "Встречаются два друга:".
Output: "'Встречаются два друга: - Скажите, что я быстрее.'" (сгенерировано с top_k=10, temperature=1.0)
