from transformers import AutoTokenizer
from peft import PeftModel
from unsloth import FastLanguageModel

# ベースモデルとトークナイザーの読み込み
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="SakanaAI/TinySwallow-1.5B-Instruct",
    max_seq_length=2048,
    load_in_4bit=False,
)

# LoRAアダプターの読み込み
model = PeftModel.from_pretrained(model, "hiroyuki0823/SakanaAI-TinySwallow-1.5B-Instruct-GRPO-lora")

# アダプターの重みをベースモデルに統合
merged_model = model.merge_and_unload()

技術仕様

モデルアーキテクチャ

ベースモデル: SakanaAI/TinySwallow-1.5B-Instruct
ファインチューニング手法: GRPO (Generative Reinforcement Policy Optimization)
アダプター: LoRA
フレームワーク: unsloth

依存関係

PEFT 0.15.0
transformers
unsloth

制限事項と注意点

このモデルは研究目的での使用を想定しています
商用利用可能ですが、以下の条件を満たす必要があります：
- ライセンス表示の維持
- 著作権表示の維持
- 変更箇所の明示（改変時）
モデルの出力は、入力データの品質に依存します
このモデルは「現状のまま」提供され、明示または黙示を問わず、いかなる保証も提供されません
モデルの使用に起因するいかなる損害についても、作者は責任を負いません

引用

このモデルはApache License 2.0の下で提供されています。