Views
No views yet
1# pip install transformers accelerate
2from transformers import AutoTokenizer
3import transformers
4import torch
5model = "Zen1t/WordWeaver-AI"
6prompt = "Сегодня он собирался удивить Аню сюрпризом — отвезти её в ресторан, заслуживающий особого внимания из-за своего расположения. А располагался тот на двадцать пятом этаже здания «Российской Академии Наук». Из его окон, судя по описанию, открывался изумительный вид на город, особенно ночью."
7prompt = f"<s>[INST] {prompt} [/INST]"
8tokenizer = AutoTokenizer.from_pretrained(model)
9pipeline = transformers.pipeline(
10 "text-generation",
11 model=model,
12 torch_dtype=torch.float16,
13 device_map="auto",
14)
15sequences = pipeline(
16 prompt,
17 do_sample=True,
18 top_k=10,
19 num_return_sequences=1,
20 eos_token_id=tokenizer.eos_token_id,
21 max_length=200,
22)
23for seq in sequences:
24 print(seq['generated_text'][len(prompt):])Сегодня он собирался удивить Аню сюрпризом — отвезти ее в ресторан, заслуживающий
особого внимания из-за своего расположения на двадцать пятом этаже здания «Российской Академии Наук».
Из его окон, судя по описанию, открывался изумительный вид на город, особенно ночью.