c4ai-command-r-plus-08-2024 GPTQ量子化モデル

モデル概要

• モデル名: nejumi/c4ai-command-r-plus-08-2024-GPTQ-Int8-calib-ja-1k および nejumi/c4ai-command-r-plus-08-2024-GPTQ-Int4-calib-ja-1k
• ベースモデル: CohereForAI/c4ai-command-r-plus-08-2024
• モデルサイズ: 103,810,674,688 パラメータ
• カテゴリ: 30B≤

量子化の詳細

• Calibration データ: nejumi/wikipedia-ja-20230720-4k の先頭1024行
• 量子化パラメータ:
  • group_size: 128
  • perc_damp: 0.0
  • desc_act: True
  • use_exllama: False
  • model_seqlen: 2048

性能評価（総合）

詳細評価（詳細）

汎用的言語性能(GLP)

アラインメント(ALT)

ベンチマークごとのスコア

注意事項

• この量子化モデルは、オリジナルのCohereForAI/c4ai-command-r-plus-08-2024モデルをGPTQ手法を用いて圧縮したものです。
• Int8とInt4の2つのバリエーションがあり、それぞれ異なる精度と効率のトレードオフを提供します。
• 性能指標は、オリジナルモデルと比較してわずかな違いがありますが、多くの指標で大きな性能低下を伴わない結果を示しています。
• 量子化プロセスには、日本語Wikipediaデータの一部が使用されており、日本語タスクに最適化されている可能性があります。

使用上の注意

• このモデルは2048トークンのコンテキスト長で訓練されていると想定されます。より長いコンテキストでの使用は、性能に影響を与える可能性があります。
• 量子化により、モデルのサイズが大幅に削減されていますが、一部のタスクでわずかな精度の低下が見られる場合があります。
• Int8版とInt4版で異なる特性を持つ可能性があるため、用途に応じて適切なバージョンを選択してください。
• 特定のタスク（例：堅牢性、真実性）では、量子化モデルがベースモデルと比較して若干の性能低下を示していますので、これらのタスクに重点を置く場合は注意が必要です。

ライセンス