5つの基本戦略タイプ（Offensive, Defensive, Adaptive, Disruptive, Endurance）
7つの攻撃側決定基準（Cumulative Probability Focus, Recent Pattern Focus, Speed Focus, Return Focus, Feint Focus, Distribution Focus, Energy Efficiency Focus）
7つの防御側決定基準（Cumulative Probability Focus, Recent Pattern Focus, Counterattack Focus, Return Focus, Risk Avoidance Focus, Counter Focus, Distribution Focus）

訓練情報

訓練データ

データ数: 479件（訓練）+ 25件（検証）
データソース: game_rules_augmented.jsonl

データ形式: Gemma-2-itプロンプトテンプレート形式

<start_of_turn>user
質問<end_of_turn>
<start_of_turn>model
回答<end_of_turn>

ハイパーパラメータ

パラメータ	値
ベースモデル	google/gemma-2-2b-it
LoRAランク (r)	16
LoRA alpha	32
LoRA dropout	0.1
ターゲットモジュール	q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
学習率	5e-5
バッチサイズ	2 x 8 (gradient accumulation) = 16
エポック数	37（途中停止）
最適化手法	AdamW
Warmup ratio	0.3
Weight decay	0.05
精度	bfloat16

訓練結果

最終訓練ロス: 0.0
最終検証ロス: 1.08e-05
訓練可能パラメータ: 20,766,720 (0.79%)
訓練時間: 約1.5時間
ハードウェア: NVIDIA RTX 4070 Ti SUPER (16GB VRAM)

評価結果

テスト結果サマリー

9つの異なる質問でテストを実施：

評価	件数	割合
✅ 完璧な回答	4/9	44%
⚠️ 部分的に正確	1/9	11%
❌ 不正確	4/9	44%

強み

✅ 個別の決定基準の説明は非常に正確

Recent Pattern Focus, Counterattack Focus, Counter Focus, Distribution Focusの説明は完璧

✅ 質問の表現バリエーションに対応

"What is", "Explain", "Describe", "Tell me about" など様々な動詞に対応可能

弱点

❌ 過学習による知識の混同

数値の誤認（5個の戦略を7個と回答）
攻撃側/防御側の混同
戦略特徴の混入

❌ 間接的な質問への対応不足

"Which strategy focuses on energy management?" → 不正確な回答

❌ 比較質問への対応不足

訓練データに比較形式の例がないため、適切な比較ができない

使い方

インストール

pip install transformers peft torch

基本的な使用方法

python

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch

# ベースモデルとLoRAアダプタをロード
base_model = AutoModelForCausalLM.from_pretrained(
    "google/gemma-2-2b-it",
    device_map="auto",
    torch_dtype=torch.bfloat16
)

model = PeftModel.from_pretrained(base_model, "ayousanz/gemma-2-2b-it-game-ft")
tokenizer = AutoTokenizer.from_pretrained("ayousanz/gemma-2-2b-it-game-ft")

# 推論
prompt = "What is the offensive strategy?"
formatted_prompt = f"<start_of_turn>user\n{prompt}<end_of_turn>\n<start_of_turn>model\n"

inputs = tokenizer(formatted_prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=150,
    do_sample=False,
    pad_token_id=tokenizer.pad_token_id,
    eos_token_id=tokenizer.eos_token_id
)

response = tokenizer.decode(outputs[0][inputs['input_ids'].shape[1]:], skip_special_tokens=True)
print(response)
# 出力: Offensive strategy: High risk, high reward strategy type with frequent attacks.

マージして使用（推奨）

python

# LoRAアダプタをベースモデルにマージ
merged_model = model.merge_and_unload()

# 推論（より高速）
inputs = tokenizer(formatted_prompt, return_tensors="pt").to(merged_model.device)
outputs = merged_model.generate(**inputs, max_new_tokens=150)

推奨される使用方法

✅ 適している質問

個別の戦略や決定基準の説明
- "What is Recent Pattern Focus in offense?"
- "Explain Counterattack Focus in defense"
基本的な戦略タイプの説明
- "What is the offensive strategy?"
- "Tell me about Disruptive strategy"

❌ 避けるべき質問

数を問う質問
- "How many basic strategy types are there?" → 不正確な可能性
比較質問
- "Compare offensive and defensive strategies" → 不適切な回答
間接的な質問
- "Which strategy focuses on X?" → 不正確な可能性

制限事項と注意点

⚠️ 過学習について

このモデルはエポック37で訓練されており、過学習の兆候があります：

訓練ロスが0.0まで低下
一部の知識が混同（数値、攻撃/防御の区別）
訓練データにない造語を生成する場合あり

推奨事項

より正確なモデルが必要な場合は、以下のアプローチを推奨：

エポック数を10-15に削減して再訓練
データの追加（比較質問、間接質問の例を追加）
正則化の強化（weight decay増加、LoRA dropout増加）

ライセンス

このモデルは以下のライセンスに従います：

コード: MIT License
ベースモデル（Gemma-2）: Gemma Terms of Useに従ってください

引用

このモデルを使用する場合は、以下を引用してください：

bibtex

@misc{gemma-2-2b-it-game-ft,
  author = {ayousanz},
  title = {Gemma-2-2B-IT Game Strategy Fine-tuning},
  year = {2025},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/ayousanz/gemma-2-2b-it-game-ft}}
}

技術仕様

モデルアーキテクチャ

ベースモデル: Gemma-2-2B-IT
ファインチューニング手法: LoRA (Low-Rank Adaptation)
パラメータ効率: 0.79% (20.7M / 2.6B)

計算環境

GPU: NVIDIA RTX 4070 Ti SUPER (16GB VRAM)
OS: Windows 11
フレームワーク:
- Transformers 4.47.1
- PEFT 0.17.1
- PyTorch 2.5.1+cu124

連絡先

問題や質問がある場合は、Issuesでお知らせください。

🤖 このモデルは実験的なものです。本番環境での使用前に十分なテストを行ってください。