Был реализован Byte-level BPE токенизатор и маленькая LM на 50.1М параметров. Модель была обучена на датасете русских анекдотов и способна к продолжению заданного слова/словосочетания в анекдот (насколько это возможно)

input: 'заходит улитка в бар' , output: 'заходит улитка в бар, а там - мужик. - Да, а что такое? - Да нет, - отвечает - - - - он все равно не могу. - А что такое? - Да нет, - отвечает - он все равно все время. - А ты что, - говорит - он так, - это я так - такой дуфон! - Ну, а а он - это - он так - - вот, - - а так а а они - - - а они - - - э[EOS]'

input: 'сделал' , output: 'сделал всех, кто делал все, что он все равно не понимает, что они делали все, что они могут все в порядке.[EOS]'

input: 'дважды два', output: 'дважды два еврея - это такое, как страшно, когда они еще не делают.[EOS]'

input: 'квас' , output: 'квасов, пожалуйста, - сказал Штирлиц.[EOS]'

input: 'Штирлиц' , output: 'Штирлиц собрал все дети. На него они все они как разговаривают.[EOS]'

Учитывая маленький размер модели и датасета, я считаю, получились достойные результаты, иногда можно даже посмеяться с того, что модель придумывает. This model has been pushed to the Hub using the PytorchModelHubMixin integration: