Uploaded model

• Developed by: godellog
• License: CC-BY-NC-SA 4.0
• Finetuned from model : llm-jp/llm-jp-3-13b

Model Card: Instruction-Tuned Base Model

Model Overview

• Model Name: llm-jp-3-13b-it
• Description: このモデルは、日本語ベースの大規模言語モデル（13B）llm-jp-3-13bを基に、指示応答形式でのInstruction Tuningを行ったものです。
• Base Model: llm-jp-3-13b
• Fine-Tuning Objective: 指示文（instruction）に対する適切な応答（response）を生成する能力を向上させるための微調整。

Datasets

• Training Dataset:
  • データセット名: ichikara-instruction-003-001-1.json
  • 総データ数: 約1700件
  • フォーマット例:
    plaintext

    1{ 2 "text": "文章の要約を生成してください。", 3 "output": "この文章の要約です。" 4}
  • フォーマット変換後:

    ### 指示
    文章の要約を生成してください。
    ### 回答
    この文章の要約です。

Training Configuration

• Hardware:
  • GPU: L4 24GB（1枚）
• Hyperparameters:
  • per_device_train_batch_size: 2
  • gradient_accumulation_steps: 4
  • num_train_epochs: 1
  • learning_rate: 2e-4
  • fp16: 使用
  • bf16: 使用（ハードウェアでサポートされる場合）
  • max_seq_length: 512
• Optimizer and Scheduler:
  • Optimizer: AdamW
  • Learning Rate Scheduler: Linear with warmup
  • Warmup Steps: 10

Fine-Tuning Process

1. データのロード:
   • ichikara-instruction-003-001-1.jsonをロードし、textとoutputを使用してプロンプト形式に変換。
2. モデル準備:
   • ベースモデル: llm-jp-3-13b。
   • LoRAアダプタを適用:
     • Target Modules: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj。
     • LoRA Hyperparameters:
       • r=32
       • lora_alpha=32
       • lora_dropout=0.05
3. トレーニング設定:
   • 各データを512トークンでトークナイズ。
   • 勾配累積（4ステップ）を利用して効果的なバッチサイズを確保。
4. トレーニング実行:
   • 学習進行状況を10ステップごとに記録。
   • チェックポイントは2つまで保持し、それ以上は古いものを削除。

Usage Example

License

• モデルおよびデータセットのライセンスに基づいて使用可能。

Acknowledgements

• Hugging Face Transformers
• Unsloth（効率的なLoRA微調整を実現）