Views
No views yet
pip install transformers1from transformers import pipeline
2
3
4generator = pipeline("text-generation", model="abeja/gpt-neox-japanese-2.7b")
5generated = generator(
6 "人とAIが協調するためには、",
7 max_length=300,
8 do_sample=True,
9 num_return_sequences=3,
10 top_p=0.95,
11 top_k=50
12)
13print(*generated, sep="\n")
14
15"""
16[out]
17{"generated_text": "人とAIが協調するためには、「人が持っている優れた能力とAIの得意とする分野を掛け合わせる」ことが不可欠になります。"}
18{"generated_text": "人とAIが協調するためには、双方の長所を活かしていくことが不可欠だと考えています。"}
19{"generated_text": "人とAIが協調するためには、人間がAIを理解する、ということが重要です。人間には「AIに対してAIが何をするべきか」ということを明確に教えないと、AIはある程度の知識はあっても何をすべきかがわかりません。だから、コンピューターが考えたり、決めたりすることはAIではなく、人間が解釈して理解できるようにしなくて"}
20"""1from transformers import AutoTokenizer, AutoModelForCausalLM
2
3
4tokenizer = AutoTokenizer.from_pretrained("abeja/gpt-neox-japanese-2.7b")
5model = AutoModelForCausalLM.from_pretrained("abeja/gpt-neox-japanese-2.7b")
6
7input_text = "人とAIが協調するためには、"
8input_ids = tokenizer.encode(input_text, return_tensors="pt")
9gen_tokens = model.generate(
10 input_ids,
11 max_length=100,
12 do_sample=True,
13 num_return_sequences=3,
14 top_p=0.95,
15 top_k=50,
16)
17for gen_text in tokenizer.batch_decode(gen_tokens, skip_special_tokens=True):
18 print(gen_text)
19