RWKV-x060-14B-CoT

モデル概要

スペック

• アーキテクチャ: RWKV x060 Finch
• モデル構造: 61層 4096次元
• パラメータ数: 14B(140億パラメータ)
• 最大コンテキスト長: 32k
• ベースモデル: RWKV-x060-14B-JPN

トレーニング詳細

• 手法: Bone法(Block Affine Transformation)によるPEFTトレーニング
  • Block Size: 256
  • モデル形態: アダプターのみ
• トレーニング特徴:
  • RWKV-LM-RLHFのLoss SmoothingとSFT、BPTTを組み合わせた32kコンテキストトレーニング
  • Chain-of-Thought推論強化のための特殊データセット使用

データセット

• サイズ: 100kペア
• 内容:
  • 日本語・英語の混合データ
  • 会話
  • プログラミングコード
  • 翻訳タスク
  • Chain-of-Thought推論タスク

使用方法

1. RWKV-LM-RLHFレポジトリを使用してBoneマージを実行
2. 最新のRWKV-Inferを使用して動的マージ推論を実行
3. エンドトークンを'\n\n\x17'としてください。デフォルトの'\n\n'では生成が不安定になります

制限事項・注意点

• 実験的なモデルのため、推論の安定性が完全には保証されていません
• 予期せぬ挙動が発生する可能性があります
• 継続的な改善を行っているため、フィードバックを歓迎します

ライセンス

謝辞