Views
No views yet
1from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
2
3tokenizer = AutoTokenizer.from_pretrained("svjack/T5-dialogue-collect")
4
5model = AutoModelForSeq2SeqLM.from_pretrained("svjack/T5-dialogue-collect")
6
7text = '''
8 根据下面的上下文进行分段：
9 上下文 他 喜欢 吃 汉堡 是 但 我 可 不 喜欢。
10 答案：
11'''
12
13tokenizer.decode(
14model.generate(
15 tokenizer.encode(
16 text, return_tensors="pt", add_special_tokens=True
17 ))[0],
18skip_special_tokens = True
19)
20
21'''
22'分段:他喜欢吃汉堡 分段:是的,但我可不喜欢。'
23'''
24