!pip install bitsandbytes

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
import json
from tqdm import tqdm

# 必要な設定
model_name = "n4/llm-jp-3-13b-finetune-10"
max_seq_length = 1024
load_in_4bit = True  # 4-bit量子化を有効化

# モデルとトークナイザーのロード
print("モデルをロード中...")
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
dtype = torch.float16 if load_in_4bit else None

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="auto",
    torch_dtype=dtype,
    load_in_4bit=load_in_4bit,
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
print("モデルのロードが完了しました。")

# 推論用ファイルの用意
elyza-tasks-100-TV_0.jsonl を /content/elyza-tasks-100-TV_0.jsonl となるようにアップロードしておいてください。

# データセットの読み込み
datasets = []
with open("./elyza-tasks-100-TV_0.jsonl", "r") as f:
    item = ""
    for i, line in enumerate(f):
        line = line.strip()
        item += line
        if item.endswith("}"):
            data = json.loads(item)
            # task_id がない場合は行番号を追加
            if "task_id" not in data:
                data["task_id"] = i  # 0から始まる行番号
            datasets.append(data)
            item = ""

# 推論
results = []
print("推論を開始します...")
for dt in tqdm(datasets):
    input_text = dt["input"]

    # プロンプト作成
    prompt = f"<s>指示を読んで、質問内容を把握してください。把握した内容を回答してください。選択肢の並べ変えや、意味の理解など、多様な質問が想定されるので質問を注意深くみてください。</s><s>### 指示\n{input_text}\n\n\n### 回答\n"

    # トークナイズ（token_type_idsを削除）
    inputs = tokenizer(prompt, return_tensors="pt").to(device)
    inputs.pop("token_type_ids", None)  # 不要なキーを削除

    # 推論
    outputs = model.generate(
        **inputs,
        max_new_tokens=512,
        use_cache=True,
        do_sample=False,
        repetition_penalty=1.2,
    )
    # 結果のデコード
    prediction = tokenizer.decode(outputs[0], skip_special_tokens=True).split('\n### 回答')[-1]

    # 結果を保存
    results.append({"task_id": dt["task_id"], "input": input_text, "output": prediction})

# 推論結果の保存
output_file = f"{model_name.replace('/', '_')}_output.jsonl"
with open(output_file, "w") as f:
    for result in results:
        f.write(json.dumps(result, ensure_ascii=False) + "\n")

print(f"推論が完了しました。結果は {output_file} に保存されました。")