from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# モデルとトークナイザーを読み込み
model = AutoModelForCausalLM.from_pretrained(
    "eyepyon/rclama32-merged-final",
    torch_dtype=torch.float16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("eyepyon/rclama32-merged-final")

# 質問応答の実行
def ask_question(context, question):
    input_text = f"### コンテキスト:\n{context}\n\n### 質問:\n{question}\n\n### 回答:\n"
    inputs = tokenizer(input_text, return_tensors="pt")
    
    # GPUに移動（利用可能な場合）
    if torch.cuda.is_available():
        inputs = {k: v.to(model.device) for k, v in inputs.items()}
    
    with torch.no_grad():
        outputs = model.generate(
            **inputs,
            max_length=512,
            do_sample=True,
            temperature=0.7,
            top_p=0.9,
            pad_token_id=tokenizer.eos_token_id
        )
    
    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
    if "### 回答:" in response:
        response = response.split("### 回答:")[-1].strip()
    return response

# 使用例
context = "人工知能は機械が人間のような知的行動を示す技術分野です。"
question = "人工知能の主な応用分野は何ですか？"
answer = ask_question(context, question)
print(f"回答: {answer}")

📝 モデル情報

項目	詳細
ベースモデル	meta-llama/Llama-3.2-1B
ファインチューニング手法	LoRA (Low-Rank Adaptation)
マージ済み	✅ はい（単独で動作）
対応言語	🇯🇵 日本語
主要タスク	質問応答

⚙️ ファインチューニング設定

LoRAランク: 8
LoRA Alpha: 16
ターゲットモジュール: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
量子化: 4ビット (QLoRA)
最大シーケンス長: 256-512トークン
バッチサイズ: 1 × 4 (gradient accumulation)
学習率: 2e-4

📊 入力フォーマット

### コンテキスト:
[背景情報やコンテキスト]

### 質問:
[ユーザーの質問]

### 回答:
[モデルが生成する回答]

💡 使用例

基本的な質問応答

python

context = "量子コンピュータは量子力学の原理を利用した計算機です。"
question = "量子コンピュータの特徴は？"
answer = ask_question(context, question)

⚠️ 制限事項

主に日本語での質問応答に最適化
生成される回答の事実確認が必要
特定のドメイン知識でのファインチューニング

📄 ライセンス

Apache 2.0 License

最終更新: 2025年05月25日