パラメータ	値
ベースモデル	unsloth/Qwen3-4B-Instruct-2507
手法	QLoRA (4-bit)
最大シーケンス長	1024
エポック数	1
学習率	5e-6
LoRA パラメータ	r=64, α=128

データセット

daichira/structured-3k-mix-sft
daichira/structured-5k-mix-sft
daichira/structured-hard-sft-4k

使い方

python

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base_model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-4B-Instruct-2507",
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-4B-Instruct-2507")

model = PeftModel.from_pretrained(base_model, "tmiyamoto/qwen3-4b-20260207_0655-exp10-LR5e-6")

注意事項

利用者は、データセットの帰属表記（クレジット）に関する要件、およびベースモデルの元の利用規約の両方を遵守する必要があります。