You can deploy this model and start earning money today!

nejumi/
Llama-3.3-70B-Instruct-GPTQ-Int8-calib-ja-1k

Name: Llama-3.3-70B-Instruct-GPTQ-Int8-calib-ja-1k
Availability: InStock

Views

No views yet

nejumi/Llama-3.3-70B-Instruct-GPTQ-Int8-calib-ja-1k

概要

本モデルは、meta-llama/Llama-3.3-70B-Instruct をベースとして、GPTQによるInt8量子化、および重み空間上での外れ値処理と調整を行った実験的モデルです。
前回の量子化モデル同様、日本語テキストをキャリブレーションデータとして用いることで日本語環境に最適化しつつ、推論系タスクにおける性能劣化を抑えています。

モデル名: nejumi/Llama-3.3-70B-Instruct-GPTQ-Int8-calib-ja-1k
ベースモデル: meta-llama/Llama-3.3-70B-Instruct
モデルサイズカテゴリー: 30B≤ (約70Bパラメータモデルをベース)
量子化形式: GPTQ Int8

量子化パラメータ

bits: 8
group_size: 128
damp_percent: 0.01
desc_act: True
model_seqlen: 2048 (最大コンテキスト長)
r: 128
lora_target_modules: [model.layers.9.mlp.gate_proj, model.layers.9.mlp.up_proj, model.layers.33.mlp.gate_proj, model.layers.33.mlp.up_proj]

量子化および外れ値処理詳細

量子化手法: GPTQ Int8
キャリブレーションデータ: nejumi/wikipedia-ja-20230720-4k の先頭1024行
（日本語Wikipedia由来データを使用することで、日本語タスクにおける自然な応答を期待）
外れ値処理:
- 重み空間において外れ値（アウトライヤー）を検知し、クリッピングまたは差分行列として分離
- 特定層で生じやすい外れ値成分はLoRAアダプターとして再注入することで、量子化によるビット幅圧迫の影響を緩和
LoRAアダプター:
- 差分行列をSVD分解してLoRA形式で統合
- これにより、外れ値を除去したメイン分布部分をより適切に量子化し、推論性能の大幅な低下を回避

性能評価

青: nejumi/Llama-3.3-70B-Instruct-GPTQ-Int8-calib-ja-1k
橙: nejumi/Llama-3.3-70B-Instruct-GPTQ-Int8-calib-ja-1k-wo-adapter
緑: meta-llama/Llama-3.3-70B-Instruct

ベンチマーク概要

下表は、LLM評価ベンチマークを用いた本モデルのスコアです（比較対象として外れ値のクリッピングのみ行った “-wo-adapter” 版やベースモデルも記載しています）。

runname	モデルサイズ	GLP平均	ALT平均	総合平均	GLP_推論	GLP_数学的推論	ALT_堅牢性	ALT_真実性	JASTER(0-shot)	JASTER(2-shot)	MT-Bench	LCTG
nejumi/Llama-3.3-70B-Instruct-GPTQ-Int8-calib-ja-1k	30B≤	0.6711	0.7308	0.7009	0.58	0.535	0.4759	0.6086	0.6885	7.34375	0.828	0.828
nejumi/Llama-3.3-70B-Instruct-GPTQ-Int8-calib-ja-1k-wo-adapter	30B≤	0.6627	0.7293	0.6960	0.51	0.5017	0.4777	0.6040	0.6867	7.25	0.836	0.836
meta-llama/Llama-3.3-70B-Instruct	30B≤	0.6673	0.7295	0.6984	0.525	0.5117	0.4794	0.6071	0.6882	7.35	0.839	0.839

指標の補足

GLP (汎用的言語性能): 「表現力」「翻訳」「推論」「情報検索」「数学的推論」などを総合的に評価
ALT (アラインメント): 「倫理・道徳」「毒性」「バイアス」「堅牢性」などを評価
JASTER: 日本語タスクの統合ベンチマーク (0-shot / 2-shot設定)
MT-Bench: マルチターン対話を評価するベンチマーク
LCTG: 大規模言語モデルの制御性に関する多角的テスト

論理的推論・数学的推論

GLP_推論 や GLP_数学的推論 項目において、前回モデルと同様に元モデルと遜色ないレベルを維持しつつ、わずかながら改善が見られるケースもあります。
LoRAアダプターあり/なしで差分が見られ、LoRAアダプターを導入している本モデルがわずかに高い傾向が確認されました。

日本語タスク最適化

日本語Wikipedia由来のデータでキャリブレーションを実施しているため、日本語の応答生成や日本語に関する知識タスクで比較的自然な回答を行います。

モデルの特性・用途

メモリ効率: GPTQ Int8量子化により、70Bクラスの大規模モデルでも従来よりも少ないリソースで動作可能
日本語環境最適化: 日本語Wikipedia由来のキャリブレーションデータを使用することで、日本語タスクの精度を強化
ロジック系タスクへの対応: 外れ値除去＆LoRAアダプターにより、論理推論系タスクでの性能劣化が抑えられた設計
長めのコンテキスト: 最大2048トークンまでのコンテキスト長を想定

ライセンス

本モデルは、ベースモデルである meta-llama/Llama-3.3-70B-Instruct のライセンスに従って公開されています。詳細はベースモデルのライセンスをご確認ください。