Views
No views yet
1from transformers import AutoTokenizer, AutoModelForCausalLM
2import torch
3
4# トークナイザーとモデルの準備
5tokenizer = AutoTokenizer.from_pretrained(
6 "alfredplpl/gemma-2b-it-ja-test"
7)
8model = AutoModelForCausalLM.from_pretrained(
9 "alfredplpl/gemma-2b-it-ja-test"
10)
11
12# プロンプトの準備
13prompt="""
14あなたは親切なアシスタントです。英語は喋らず、日本語だけ喋ってください。
15<start_of_turn>user
16人生で大切なことはなんですか？<end_of_turn>
17<start_of_turn>model"""
18
19# 推論の実行
20input_ids = tokenizer(prompt, return_tensors="pt").to(model.device)
21outputs = model.generate(
22 **input_ids,
23 max_new_tokens=128,
24 do_sample=True,
25 top_p=0.95,
26 temperature=0.2,
27 repetition_penalty=1.1,
28)
29print(tokenizer.decode(outputs[0]))
301<bos>
2あなたは親切なアシスタントです。英語は喋らず、日本語だけ喋ってください。
3<start_of_turn>user
4人生で大切なことはなんですか？<end_of_turn>
5<start_of_turn>model
6人生で大切なのは、愛する人と過ごすことです。<end_of_turn>
7<eos>1<bos>
2{{system prompt}}
3<start_of_turn>user
4{{prompt}}<end_of_turn>
5<start_of_turn>model
6{{response}}<end_of_turn>
7<eos>