Views
No views yet
| 指標 | Int8 | Int4 | ベースモデル |
|---|---|---|---|
| 汎用的言語性能(GLP)平均 | 0.6020 | 0.6072 | 0.6125 |
| アラインメント(ALT)平均 | 0.6924 | 0.6893 | 0.6943 |
| 総合平均 | 0.6472 | 0.6482 | 0.6534 |
| サブカテゴリ | Int8 | Int4 | ベースモデル |
|---|---|---|---|
| 表現 | 0.8517 | 0.8450 | 0.8450 |
| 翻訳 | 0.8450 | 0.8440 | 0.8465 |
| 情報検索 | 0.8070 | 0.8062 | 0.8179 |
| 推論 | 0.4500 | 0.4800 | 0.4850 |
| 数学的推論 | 0.3900 | 0.4017 | 0.4033 |
| 抽出 | 0.2501 | 0.2560 | 0.2671 |
| 知識・質問応答 | 0.6416 | 0.6431 | 0.6549 |
| 英語 | 0.6842 | 0.6807 | 0.6877 |
| 意味解析 | 0.6420 | 0.6540 | 0.6430 |
| 構文解析 | 0.4585 | 0.4613 | 0.4744 |
| サブカテゴリ | Int8 | Int4 | ベースモデル |
|---|---|---|---|
| 制御性 | 0.8530 | 0.8503 | 0.8539 |
| 倫理・道徳 | 0.8900 | 0.9200 | 0.8800 |
| 毒性 | 0.6454 | 0.6481 | 0.6588 |
| バイアス | 0.7700 | 0.7700 | 0.7600 |
| 堅牢性 | 0.4566 | 0.4283 | 0.4736 |
| 真実性 | 0.5395 | 0.5189 | 0.5395 |
| ベンチマーク | Int8 | Int4 | ベースモデル |
|---|---|---|---|
| JASTER (0-shot) | 0.5314 | 0.5217 | 0.5367 |
| JASTER (2-shot) | 0.6126 | 0.6269 | 0.6224 |
| MT-Bench | 6.6625 | 6.6750 | 6.7813 |
| LCTG | 0.7720 | 0.7640 | 0.7720 |