LFM2.5-2.6B-JP-RollPlay-SFT

特徴

• セリフ＋ト書き（動作描写）の再現: 会話文だけでなく、カッコ書きによる感情表現や行動描写を自然に出力します。
• マルチターン対話対応: 会話履歴を保持した長期的なシチュエーションプレイに対応。

学習設定

• Base Model: LiquidAI/LFM2.5-2.6B
• Method: QLoRA 4-bit (Unsloth + TRL SFTTrainer)
• Dataset:
  • CausalLM/Kingfall-Roleplayから抽出した日本語データ約4000件
  • OmniAICreator/Japanese-Roleplay-Dialoguesから約24000件
• Hardware: NVIDIA GeForce RTX 3060 (12GB VRAM)
• Hyperparameters:
  • max_seq_length: 2048
  • epochs: 1
  • effective_batch_size: 16 (per_device_batch_size=2, gradient_accumulation_steps=8)
  • learning_rate: 2e-4 (Cosine schedule, warmup_steps=10)
  • optimizer: adamw_8bit
  • lora_r: 16, lora_alpha: 32, lora_dropout: 0.0
  • target_modules: all-linear

使用上の注意

• 過学習固有名詞: 学習データセットの性質上、システムプロンプトで名前を固定しない場合、過去ログの登場人物名を自発的に口走る場合があります。必ずシステムプロンプトでキャラクター名と設定を明示してください。
• 自作自演癖: ターン制の制約を与えない場合、相手のセリフまで一人二役で描写しようとする傾向があります。max_new_tokens を150前後に制限する、llama.cppのDRYフラグを使用する、システムプロンプトの指示などを使用してください。