Генератор околосмешных анекдотов, сделанный в рамках курса VK education.
Архитектура:
10.55M параметров, SwiGLU, GQA, ALiBi, byte-level BPE
Как использовать
device = torch.device("cuda")
tokenizer = ByteLevelBPETokenizer.from_pretrained(REPO_NAME)
check_model = TransformerForCausalLM.from_pretrained(REPO_NAME)
check_model = check_model.to(device)
check_model = check_model.eval()
text = "Штирлиц пришел домой"
input_ids = torch.tensor(tokenizer.encode(text), device=device)
model_output = check_model.generate(
input_ids[None, :], max_new_tokens=200, eos_token_id=tokenizer.eos_token_id, do_sample=True, top_k=10
)
tokenizer.decode(model_output[0].tolist())
Output:
Штирлиц пришел домой к сын и пришел, куда-то угол, и он ему: - Мама, ну такая, дай маленькая, я сын - упал, а ты чего я тебя так сдивай! - А что ты делать? - Да ну, да. - О, мама! - Они мне, дорогой, сынишка, не знаю, что я быстрая, я тебя почистила, что ты мне не понял, что-то встает.
