You can deploy this model and start earning money today!

nejumi/
phi-4-GPTQ-Int8-calib-ja-1k

Name: phi-4-GPTQ-Int8-calib-ja-1k
Availability: InStock

Views

No views yet

microsoft/phi-4 量子化モデル

本モデルは、microsoft/phi-4 をベースとして、GPTQ手法による量子化を適用したものです。日本語テキストをキャリブレーションデータとして用いることで、日本語環境での性能を最適化しています。

モデルバリアント:
- nejumi/phi-4-GPTQ-Int4-calib-ja-1k
- nejumi/phi-4-GPTQ-Int8-calib-ja-1k
ベースモデル: microsoft/phi-4
モデルサイズ: 14,659,507,200 パラメータ
カテゴリ: 10B≤ <30B

青: オリジナル橙: 8bit 緑: 4bit

モデル	GLP平均	ALT平均	総合平均
phi-4 Int4	0.5815	0.6953	0.6384
phi-4 Int8	0.5948	0.7015	0.6482
phi-4 オリジナル	0.5950	0.7005	0.6477

サブカテゴリ	Int4	Int8	オリジナル
表現	0.8567	0.8717	0.8583
翻訳	0.8458	0.8480	0.8457
情報検索	0.8780	0.8806	0.8809
推論	0.6400	0.5850	0.6550
数学的推論	0.5400	0.5967	0.5817
抽出	0.3304	0.3408	0.3470
知識・質問応答	0.5587	0.5735	0.5685
英語	0.3035	0.2351	0.2158
意味解析	0.4220	0.5200	0.5070
構文解析	0.4399	0.4967	0.4903

サブカテゴリ	Int4	Int8	オリジナル
制御性	0.6908	0.6949	0.6938
倫理・道徳	0.8800	0.9100	0.9000
毒性	0.8143	0.8121	0.8007
バイアス	0.8858	0.8730	0.8650
堅牢性	0.3717	0.4208	0.4226
真実性	0.5292	0.4983	0.5206

ベンチマーク	Int4	Int8	オリジナル
JASTER (0-shot)	0.3880	0.4262	0.4186
JASTER (2-shot)	0.6136	0.6441	0.6398
MT-Bench	8.2438	8.2000	8.1313
LCTG	0.6860	0.6670	0.6750

English version of this model card is available here.

本モデルは、ベースモデルである microsoft/phi-4 のライセンスに従います。詳細はベースモデルのライセンスをご参照ください。