from transformers import (
    AutoModelForCausalLM,
    AutoTokenizer,
    BitsAndBytesConfig,
)
from peft import PeftModel
import torch
from tqdm import tqdm
import json

# モデルとトークナイザーをロード
model_id = "model_id"  # 使用するモデルIDを指定
HF_TOKEN = "huggingface_token"  # Hugging Faceの認証トークン
adapter_id = "adapter_id" # アップロードしたHugging FaceのID

# QLoRA config
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    quantization_config=bnb_config,
    device_map="auto",  # モデルをGPU/CPUに自動配置
    token=HF_TOKEN
)

# 元のモデルにLoRAのアダプタを統合。
model = PeftModel.from_pretrained(model, adapter_id, token = HF_TOKEN)\

tokenizer = AutoTokenizer.from_pretrained(model_id, token=HF_TOKEN)

# 推論データ
datasets = [
    {"task_id": 1, "input": "こんにちは、今日の天気を教えてください。"},
    {"task_id": 2, "input": "自己紹介をしてください。"}
]

# 推論を実行
results = []
for data in tqdm(datasets):
    input = data["input"]

    # プロンプトを作成
    prompt = f"""### 指示
    {input}
    ### 回答
    """

    # 入力をトークン化
    input_ids = tokenizer(prompt, return_tensors="pt").to(model.device)

    # 推論実行
    outputs = model.generate(
        **input_ids,
        max_new_tokens=100,
        do_sample=False, 
        repetition_penalty=1.2
    )

    # 出力をデコード
    output = tokenizer.decode(outputs[0][input_ids.input_ids.size(1):], skip_special_tokens=True)

    # 結果を保存
    results.append({"task_id": data["task_id"], "output": output})

Atsu-Taiyo/llm-jp-3-13b-finetune

モデル詳細

モデルを使った推論

Atsu-Taiyo/
llm-jp-3-13b-finetune