import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel

# ベースモデルを読み込み
base_model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-3.2-1B",
    torch_dtype=torch.float16,
    device_map="auto"
)

# トークナイザーを読み込み
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-3.2-1B")

# LoRAアダプターを適用
model = PeftModel.from_pretrained(base_model, "eyepyon/rc3llama-3.2-1b-lora-adapter")

# 推論の実行
def generate_response(prompt):
    inputs = tokenizer(prompt, return_tensors="pt")
    with torch.no_grad():
        outputs = model.generate(
            **inputs,
            max_new_tokens=512,
            temperature=0.7,
            do_sample=True,
            pad_token_id=tokenizer.eos_token_id
        )
    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return response[len(prompt):]

# 使用例
prompt = "Human: こんにちは！\n\nAssistant: "
response = generate_response(prompt)
print(response)

パフォーマンス

このモデルは以下のタスクに特化して訓練されています：

質問応答
対話生成
テキスト生成

制限事項

このモデルは特定のドメインでファインチューニングされているため、汎用的な用途には適さない場合があります
生成されるテキストの正確性については、使用前に検証することを推奨します
バイアスが含まれる可能性があります

倫理的考慮事項

このモデルの出力は教育・研究目的での使用を想定しています
有害なコンテンツの生成を避けるため、適切なフィルタリングを実装することを推奨します
商用利用の際は、出力内容について十分な検証を行ってください

引用

bibtex

@misc{rc3llama_3.2_1b_lora_adapter,
  title={rc3llama-3.2-1b-lora-adapter},
  author={Your Name},
  year={2025},
  publisher={Hugging Face},
  url={https://huggingface.co/eyepyon/rc3llama-3.2-1b-lora-adapter}
}

謝辞

ベースモデル: meta-llama/Llama-3.2-1B
LoRA実装: PEFT
訓練フレームワーク: Transformers

更新履歴

v1.0 (2025-06-10): 初回リリース

お問い合わせ

モデルに関する質問や改善提案がございましたら、リポジトリのIssueまでお気軽にご連絡ください。