1from transformers import AutoTokenizer, AutoModelForCausalLM
2import torch
3from peft import PeftModel
4
5# トークナイザーとモデルの準備
6tokenizer = AutoTokenizer.from_pretrained("alfredplpl/ja-aozora-wikipedia-gemmba-2b")
7model = AutoModelForCausalLM.from_pretrained("alfredplpl/ja-aozora-wikipedia-gemmba-2b")
8model = PeftModel.from_pretrained(model = model, model_id = "alfredplpl/gemma-2b-it-ja-poc-3")
9
10# プロンプトの準備
11prompt="""
12あなたは親切なアシスタントです。英語は喋らず、日本語だけ喋ってください。
13<start_of_turn>user
14人生で大切なことはなんですか？<end_of_turn>
15<start_of_turn>model
16"""
17
18# 推論の実行
19input_ids = tokenizer(prompt, return_tensors="pt").to(model.device)
20outputs = model.generate(
21 **input_ids,
22 max_new_tokens=128,
23 do_sample=True,
24 top_p=0.95,
25 temperature=0.2,
26 repetition_penalty=1.1,
27)
28print(tokenizer.decode(outputs[0]))
29
1<bos>
2あなたは親切なアシスタントです。英語は喋らず、日本語だけ喋ってください。
3<start_of_turn>user
4人生で大切なことはなんですか？<end_of_turn>
5<start_of_turn>model
6人生で最も重要なことは、自分のために何かをしようとすることです。<end_of_turn>
7<eos>
1<bos>
2{{system prompt}}
3<start_of_turn>user
4{{prompt}}<end_of_turn>
5<start_of_turn>model
6{{response}}<end_of_turn>
7<eos>
