wanabi_mini_12b_GGUF

• 提供形式: 現在、GGUF 形式のみ提供しています。VRAM 8GB以上のコンシューマGPUに適合する複数の量子化バージョンを用意。全て量子化モデルは特性のキャリブレーションデータを用いてimatrix量子化されています。
• 特徴: 24B版と比較して、より高品質なデータセットで学習されており、応答性や特定のタスクにおける精度向上が期待されます。

🚀 Project Wannabe との連携 (強く推奨)

✨ 新機能 (wanabi-24B v1 との比較)

1. アイデア補間機能 (新):
   • 目的: Project Wannabe の「詳細情報」タブで、小説のアイデアに必要な全ての項目（タイトル、キーワード、ジャンル、あらすじ、設定、プロット）が入力されている場合に、それらの情報を基により詳細で深掘りされたアイデアや展開のヒントを生成します。
   • 適用: アイデア生成 (IDEA) タスクにおいて、特定の条件を満たした際に起動します。

✨ 主な機能

1. オーサーズノート機能:
   • 目的: 次に起きる展開、行動、心情描写など、今後おおよそ1000文字以内に起こるような直近の内容を記述することで、続きの文章生成をより細かく誘導します。
   • 適用: 続き生成 (CONT) タスクのプロンプトに組み込まれます。
2. レーティング機能:
   • 目的: 生成内容のレーティング（general または r18）を指定します。
   • 適用: 全てのタスク (GEN, CONT, IDEA) の指示 (Instruction) の末尾に レーティング: {指定値} が付与されます。
3. セリフ量指定機能:
   • 目的: 生成される文章中のセリフの割合を「指定なし」「少ない」「やや少ない」「普通」「やや多い」「多い」から選択します。（現在のバージョンではまだ完全に反映されませんが、将来のバージョンでの対応を見据えた機能です。）
   • 適用: 「指定なし」以外が選択された場合、本文生成 (GEN) および続き生成 (CONT) タスクのプロンプトの入力 (Input) 部分（参考情報ブロック内）に # セリフ量: {指定値} が含まれます。
4. 本文生成 (GEN):
   • 指示に加え、任意で与えられるメタデータ（タイトル、キーワード、ジャンル、あらすじ、設定、プロット）や セリフ量、レーティングに基づいて小説本文を生成します。
5. 続き生成 (CONT):
   • 与えられた本文の続きを、任意で与えられるメタデータ、セリフ量、レーティング、そして オーサーズノート を考慮しながら生成します。
   • プロンプト構造は wanabi-24B v0.1 と同様の改善された形式です。
6. アイデア生成 (IDEA):
   • 任意で与えられるメタデータの一部（または無し）と レーティング を基に、小説のアイデア（タイトル、キーワード、ジャンル、あらすじ、設定、プロット）を生成します。
   • アイデア補間機能により、入力情報が豊富な場合はより詳細なアイデアが生成されます。

💻 学習の詳細

ベースモデル

• mistralai/Mistral-Nemo-Base-2407

学習フレームワーク

• LLaMA-Factory

学習手法

• 手法: Supervised Fine-tuning (SFT)
• 量子化・アダプター: LoRA
  • lora_rank: 128
  • lora_alpha: 256
  • lora_dropout: 0.05
  • lora_target: all (全ての線形層)
• 精度: bf16
• シーケンス長: 32768
• バッチサイズ: per_device_train_batch_size=1, gradient_accumulation_steps=24 (実効バッチサイズ 24)
• 最適化:
  • Optimizer: PagedAdamW (8-bit) (optim: paged_adamw_8bit)
  • Flash Attention 2: 有効 (flash_attn: fa2)
  • Unsloth Gradient Checkpointing: 有効 (use_unsloth_gc: true)
  • Liger Kernel: 有効 (enable_liger_kernel: true)
  • Weight Decay: 0.01 (weight_decay: 0.01)
• 学習率:
  • learning_rate: 4.0e-5
  • lr_scheduler_type: cosine_with_restarts
  • lr_scheduler_kwargs: {"num_cycles": 1}
  • warmup_ratio: 0.03
• その他:
  • num_train_epochs: 1

📝 プロンプト形式 (mistral_small テンプレート)

• 新機能:アイデア補間:

  Project Wannabe の「詳細情報」タブで、タイトル、キーワード、ジャンル、あらすじ、設定、プロットの全てが入力されている状態でアイデア生成を実行すると、モデルはこれらの豊富な情報を活用し、より詳細で具体的なアイデア（例えば、キャラクターの掘り下げ、サブプロットの提案、世界観の補足説明など）を生成しようと試みます。この機能は特別なプロンプト変更を必要とせず、入力情報の量と質に応じて自動的に働きが変化します。

⚠️ 制限事項と注意点

• 開発中のモデル: 本モデルは現在も開発途上であり、性能や安定性は今後のバージョンで向上する可能性があります。
• 偏り: 学習データの特性上、生成内容が特定のジャンル、表現、展開に偏る可能性があります。
• 不適切な内容: 学習データには多様なテキストが含まれるため、不快感を与える可能性のある文章が生成されることがあります。レーティング機能で制御を試みていますが、完全ではありません。
• 品質の限界: 生成される文章の多様性、一貫性、文脈への追従性には限界があります。
• 利用上の注意: 本モデルは研究および実験的な目的で提供されています。違法な目的や他者の権利を侵害する目的での使用は固く禁じます。
• 自己責任: 本モデルの使用によって生じたいかなる結果についても、開発者は一切の責任を負いません。