Views
No views yet
pip install sentencepiece1from transformers import pipeline
2
3
4generator = pipeline("text-generation", model="abeja/gpt2-large-japanese")
5generated = generator(
6 "人とAIが協調するためには、",
7 max_length=30,
8 do_sample=True,
9 num_return_sequences=3,
10 top_p=0.95,
11 top_k=50,
12 pad_token_id=3
13)
14print(*generated, sep="\n")
15
16"""
17[out]
18{'generated_text': '人とAIが協調するためには、社会的なルールをきちんと理解して、人と共存し、協働して生きていくのが重要だという。'}
19{'generated_text': '人とAIが協調するためには、それぞれが人間性を持ち、またその人間性から生まれるインタラクションを調整しなければならないことはいうまで'}
20{'generated_text': '人とAIが協調するためには、AIが判断すべきことを人間が決める必要がある。人工知能の目的は、人間の知性、記憶、理解、'}
21"""1from transformers import AutoTokenizer, AutoModelForCausalLM
2
3
4tokenizer = AutoTokenizer.from_pretrained("abeja/gpt2-large-japanese")
5model = AutoModelForCausalLM.from_pretrained("abeja/gpt2-large-japanese")
6
7input_text = "人とAIが協調するためには、"
8input_ids = tokenizer.encode(input_text, return_tensors="pt")
9
10gen_tokens = model.generate(
11 input_ids,
12 max_length=100,
13 do_sample=True,
14 num_return_sequences=3,
15 top_p=0.95,
16 top_k=50,
17 pad_token_id=tokenizer.pad_token_id
18)
19for gen_text in tokenizer.batch_decode(gen_tokens, skip_special_tokens=True):
20 print(gen_text)1from transformers import AutoTokenizer, TFAutoModelForCausalLM
2
3
4tokenizer = AutoTokenizer.from_pretrained("abeja/gpt2-large-japanese")
5model = TFAutoModelForCausalLM.from_pretrained("abeja/gpt2-large-japanese", from_pt=True)
6
7input_text = "人とAIが協調するためには、"
8input_ids = tokenizer.encode(input_text, return_tensors="tf")
9
10gen_tokens = model.generate(
11 input_ids,
12 max_length=100,
13 do_sample=True,
14 num_return_sequences=3,
15 top_p=0.95,
16 top_k=50,
17 pad_token_id=tokenizer.pad_token_id
18)
19for gen_text in tokenizer.batch_decode(gen_tokens, skip_special_tokens=True):
20 print(gen_text)