Views
No views yet
1import torch
2from transformers import AutoModelForSeq2SeqLM, T5Tokenizer
3model_name = "PyWebSol/QA-Gen"
4tokenizer = T5Tokenizer.from_pretrained(model_name)
5model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
6
7def generate(text, **kwargs):
8 inputs = tokenizer(text, return_tensors='pt')
9 with torch.no_grad():
10 hypotheses = model.generate(**inputs, num_beams=1, **kwargs, max_new_tokens=512)
11 print(hypotheses)
12 return tokenizer.decode(hypotheses[0], skip_special_tokens=True)
13
14qa = generate(
15 "К особым префектурам можно отнести Токио, Киото, Осаку и Хоккайдо. В период Эдо (1603—1867), сёгунат установил 9 городских районов, которыми управляли чиновники из центра (奉行支配地), и 302 районных города, которыми управляли городские чиновники (郡代支配地). С наступлением эпохи Мэйдзи 9 городских центров были превращены в округа фу, а 302 районных города — в префектуры кэн. В 1871 г., после административной реформы, в Японии было установлено 3 городских префектур фу — Токио, Киото и Осака. В 1943 г. городская префектура Токио была переименована в столицу то (хотя закона о столице утверждено не было)."
16).split(" <|split|> ")
17
18question, answer = qa
19
20print(f"Вопрос: {question}")
21print(f"Ответ: {answer}")
22# Вопрос: В каком период было установлено 3 городских префектур фу — Токио, Киото и Осака?
23# Ответ: В 1871 году.