LLM-jp Fine-tuned Model

モデルの詳細

モデル概要

• 開発者: LLM-jp Community
• モデルタイプ: 言語モデル (LoRA)
• 言語: 日本語
• ライセンス: Apache 2.0
• ベースモデル: LLM-jp
• 用途: 質問応答、情報抽出、要約など

技術仕様

• アーキテクチャ:
  • LoRAランク: 16
  • ターゲットモジュール: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
  • 最大シーケンス長: 2048トークン
  • 量子化: 4-bit
• トレーニング設定:
  • データセット: databricks-dolly-15k-ja
  • バッチサイズ: 4
  • 勾配累積ステップ: 4
  • 学習率: 2e-4
  • トレーニングステップ: 1000

使用方法

制限事項と推奨事項

• 日本語の質問応答に特化しています
• 長文の生成には適していない可能性があります
• 事実に基づかない回答を生成する可能性があります
• 機密情報や個人情報を含む質問は避けてください

Framework versions

• PEFT 0.13.2