以下のコードを使用してモデルとトークナイザーをロードします。
from unsloth import FastLanguageModel

model_name = "Yumikooo/llm-jp-3-13b-finetune-2"
HF_TOKEN = "huggingface_token_here"  # Hugging Faceで取得したトークンを入力

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name=model_name,
    token=HF_TOKEN,
    load_in_4bit=True,
)

FastLanguageModel.for_inference(model)  # 推論モードに設定

2.推論を実行

以下のコードを使用して、推論を行います。

input_text = "ここに入力テキストを入れます"
prompt = f"### 指示\n{input_text}\n### 回答\n"
inputs = tokenizer([prompt], return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=512)
prediction = tokenizer.decode(outputs[0], skip_special_tokens=True)

print("予測結果:", prediction)

結果の保存

推論結果をJSONL形式で保存します。
import json

results = [{"task_id": 1, "input": "質問内容", "output": "モデルの回答"}]
with open(f"{model_name}_output.jsonl", 'w', encoding='utf-8') as f:
    for result in results:
        json.dump(result, f, ensure_ascii=False)
        f.write('\n')