wanabiについて

v1から変更点

1. 長コンテキストへの対応
   • v1ではモデルのコンテキストを超える小説の続きを書く際にメタデータを含む指示文が失われるという問題がありました。Project Wannabeでは既に緩和策を実装しておりますが、データセット側でも対策の発動時と同じフォーマットで学習することで、長コンテキストでも安定した生成が可能となりました。
2. データセットの拡張
   • 約2万件のweb小説を用いてデータセットを構築しました。
3. 学習時のハイパーパラメータの調整
   • 学習方式の変更、学習対象の追加、過学習防止策の追加などv1よりも洗練された学習設定を採用しました。

🚀 Project Wannabe との連携 (強く推奨)

✨ 主な機能

1. 本文生成 (GEN):
   • 指示に加え、任意で与えられるメタデータ（タイトル、キーワード、ジャンル、あらすじ、設定、プロット）や セリフ量、レーティングに基づいて小説本文を生成します。
   • メタデータなしで自由に生成することも可能です。
2. 続き生成 (CONT):
   • 与えられた本文の続きを、任意で与えられるメタデータ、セリフ量、レーティング、そして新たに追加された オーサーズノート を考慮しながら生成します。
3. アイデア生成 (IDEA):
   • 任意で与えられるメタデータの一部（または無し）と レーティング を基に、完全な小説のアイデア（タイトル、キーワード、ジャンル、あらすじ、設定、プロット）を生成します。
   • （セリフ量はこのタスクには影響しません。）

💻 学習の詳細

ベースモデル

• mistralai/Mistral-Small-24B-Base-2501

学習フレームワーク

• LLaMA-Factory

学習設定

📝 プロンプト形式 (mistral_small テンプレート)

• <s>, </s>: 開始・終了トークン
• [INST], [/INST]: ユーザー指示の開始・終了を示すタグ（タグと内容の間にスペースは入りません）
• {Instruction}: タスク指示（例: 「小説を生成してください。」） + レーティング
• {Input}: タスクに必要な入力情報（メタデータ、本文の一部など）。Instruction と Input の間は改行1つ (\n)。
• {Output}: モデルが生成すべき応答テキスト。

⚠️ 制限事項と注意点

• 偏り: 学習データの特性上、生成内容が特定のジャンル、表現、展開に偏る可能性があります。
• 不適切な内容: 学習データには多様なテキストが含まれるため、未成年者の閲覧に適さない、または不快感を与える可能性のある文章が生成されることがあります。レーティング機能で制御を試みていますが、完全ではありません。
• 品質の限界: 生成される文章の多様性、一貫性、文脈への追従性には限界があります。特に長い文章の生成では破綻する可能性があります。オーサーズノート機能などでの誘導をお試しください。
• 利用上の注意: 本モデルは研究および実験的な目的で提供されています。利用者は、適用される法律および規制を遵守する責任を負います。違法な目的や他者の権利を侵害する目的での使用は固く禁じます。
• 自己責任: 本モデルの使用によって生じたいかなる結果についても、開発者は一切の責任を負いません。全て自己責任においてご利用ください。