The task was to train a LLM to make up funny jokes.
During the task Byte-Level BPE tokenizer and GPT like model were trained.
Vocabulary of BPE tokenizer consists of 1024 tokens.
This model has been pushed to the Hub using the [PytorchModelHubMixin] with trained BPE tokenizer.
LLM consists of next blocks and parts:
- SWiGLU as mlp;
- Grouped Query Attention as mhsa with ALiBi as relative positional encoding;
- RMSNorm as normalization layer.
- 29.37M parameters
During the training:
- train loss:
- max: 7.055
- min: 2.676
- last: 2.685
- validation loss:
- max: 3.717
- min: 2.769
- last: 2.769
Also warm up with following lambda lr scheduler were used during the training of LLM.
Here are below some examples of generated russian jokes, to be honest, there are pretty strange :)
- Заходит в бар, а там сидит медный, а тащит в кровати. Мужик говорит:- Девочка, что это за супруга?- А что у тебя на балу вокруг? (Заходит в бар)
- Штирлиц пришел домой из школы, внесла пальцы. Тот говорит: — Два дня, дайте мне вечером. (Штирлиц пришел домой)
- Однажды дома пришли к матери, а в носиковской кастрюлями и радостными днями - это когда сборная России. (Однажды дома)
- Сегодня я иду в постели, а она - не очень. (Сегодня я иду)
- Опять двойка - это когда у вас есть два папы. (Опять двойка)
