nejumi/Llama-3.1-Swallow-70B-Instruct-v0.3-GPTQ-Int4-calib-ja-1k

概要

• モデル名: nejumi/Llama-3.1-Swallow-70B-Instruct-v0.3-GPTQ-Int4-calib-ja-1k
• ベースモデル: tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.3
• モデルサイズカテゴリー: 30B≤ (約70Bパラメータモデルをベース)
• 量子化形式: GPTQ Int4

量子化パラメータ

• bits: 4
• group_size: 128
• damp_percent: 0.01
• desc_act: True
• model_seqlen: 2048
• r: 128
• lora_target_modules: [model.layers.9.mlp.gate_proj, model.layers.9.mlp.up_proj, model.layers.33.mlp.gate_proj, model.layers.33.mlp.up_proj]

量子化および外れ値処理詳細

• 量子化手法: GPTQ Int4
• キャリブレーションデータ: nejumi/wikipedia-ja-20230720-4k の先頭1024行
• 外れ値処理:
  • 重み空間において外れ値を検知し、クリッピングまたは差分行列として分離
  • 特定層で生じやすい外れ値成分はLoRAアダプターとして再注入
• LoRAアダプター:
  • 差分行列をSVD分解してLoRA形式で統合
  • 外れ値を除去したメイン分布部分をより適切に量子化

性能評価

青: tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.3 橙: nejumi/Llama-3.1-Swallow-70B-Instruct-v0.3-GPTQ-Int4-calib-ja-1k 緑: nejumi/Llama-3.1-Swallow-70B-Instruct-v0.3-GPTQ-Int4-calib-ja-1k-wo-adapter

ベンチマーク結果

主な特徴

• LoRAアダプターありの本モデルで、推論、数学的推論いずれも元モデルと略同等
• 日本語タスクでの自然な応答性能を維持
• ベースモデルと比較して大きな性能劣化なし

モデルの特性・用途

• メモリ効率: GPTQ Int4量子化により、大幅なメモリ使用量削減を実現
• 日本語環境最適化: 日本語Wikipediaによるキャリブレーションで日本語タスクを前提に量子化
• ロジック系タスク: 外れ値処理とLoRAアダプターで論理推論性能を維持
• コンテキスト長: 最大2048トークン対応

ライセンス