Russian Jokes Transformer

Model Architecture

• Rotary Positional Embeddings (RoPE) for better encoding of relative positions
• Multi-Head Latent Attention (MLA) for more efficient processing of long-term dependencies OR Grouped-Query Attention (GQA) to reduce computational complexity
• SwiGLU as an activation function in feed-forward layers

• Number of layers: 12
• Hidden state dimension: 768
• Number of attention heads: 12
• Total number of parameters: 83.1M

Training

• Learning rate: 3e-4
• Batch size: 128
• Number of steps: 10,000
• Weight decay: 0.01

Examples of Generated Text

'Поручик Ржевский и Наташа Ростова утром встретили Наташу Ростовой. - Ну что, Маташа, я так понял! Вот, Ваточка, выучил! - Ну, сразу в двух случаях! Поручик, не знаю, чего я хочу. - И не волнуйся, я тебя не знаю!'

'Британские ученые выяснили, что приветливость - это то, что проигрывает война на место в Комитет.В конце дня, как только он узнает свою власть...'

'Однажды в бухгалтерии все перепутались использовались слова "поверено", но потом пришел на "ты" и всяческая форма суммы не проверять вверх сил.'

'Роман Абрамович пришел в аптеку и говорит: "У вас есть аллергии?".Вовочка: "Подожди, папа, ну скажите, у меня даже есть отец".'

'Как называется медицинский спирт? Пока его не хватает'

'Сидит дурак в дурдоме, письмо пишет. – Слова, почему не пишется писать? – Потому что я, медсестра, я сразу согласился… А я, не помню, я сейчас не пишу– и не тормози, да не так. И тут он согласился. А тут согласился, и я – не помогло. – Так что же ты так делаешь?'

'В немецком концлагере, уроке мальчика, немцев и медсестра. В конце метро входит в суд, садится в ряд и говорит: — Может, идем в туалет? — Да. — Идем сюда в кустах. — А как назвать? — А в туалет?'

Model Limitations

• model_hub_mixin
• pytorch_model_hub_mixin

• Library: [More Information Needed]
• Docs: [More Information Needed]