Views
No views yet
1from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
2
3tokenizer = AutoTokenizer.from_pretrained("BlackKakapo/t5-base-paraphrase-ro-v2")
4model = AutoModelForSeq2SeqLM.from_pretrained("BlackKakapo/t5-base-paraphrase-ro-v2")1from transformers import T5ForConditionalGeneration, T5TokenizerFast
2
3model = T5ForConditionalGeneration.from_pretrained("BlackKakapo/t5-base-paraphrase-ro-v2")
4tokenizer = T5TokenizerFast.from_pretrained("BlackKakapo/t5-base-paraphrase-ro-v2")1text = "Într-un interviu pentru Radio Europa Liberă România, acesta a menționat că Bucureștiul este pregătit oricând și ar dura doar o oră de la solicitare, până când gazele ar ajunge la Chișinău."
2
3encoding = tokenizer.encode_plus(text, pad_to_max_length=True, return_tensors="pt")
4input_ids, attention_masks = encoding["input_ids"], encoding["attention_mask"]
5
6beam_outputs = model.generate(
7 input_ids=input_ids,
8 attention_mask=attention_masks,
9 do_sample=True,
10 max_length=256,
11 top_k=20,
12 top_p=0.9,
13 early_stopping=False,
14 num_return_sequences=5
15)
16
17final_outputs = []
18
19for beam_output in beam_outputs:
20 text_para = tokenizer.decode(beam_output, skip_special_tokens=True,clean_up_tokenization_spaces=True)
21
22 if text.lower() != text_para.lower() or text not in final_outputs:
23 final_outputs.append(text_para)
24
25
26print(final_outputs) ['Într-un interviu cu Radio Europa Liberă România, el a spus că Bucureștiul este pregătit în orice moment și ar dura doar o oră de la cererea până când gazele ar ajunge la Chișinău.']