Views
No views yet
1# 学習したモデルを用いてタスクを実行
2from tqdm import tqdm
3
4# 推論するためにモデルのモードを変更
5FastLanguageModel.for_inference(model)
6
7results = []
8for dt in tqdm(datasets):
9 input = dt["input"]
10
11 prompt = f"""### 指示:
12以下の問題にStep by Stepで取り組んでください。
13
14\n 質問: {input}\n
15### 回答\n"""
16
17 inputs = tokenizer([prompt], return_tensors = "pt").to(model.device)
18
19 outputs = model.generate(**inputs, max_new_tokens = 512, use_cache = True, do_sample=False, repetition_penalty=1.2)
20 prediction = tokenizer.decode(outputs[0], skip_special_tokens=True).split('\n### 回答')[-1]
21
22 results.append({"task_id": dt["task_id"], "input": input, "output": prediction})```