misawann/

bert-base-jaquad-ffn2150-head-10

モデル詳細

• cl-tohoku/bert-base-japanese を JaQuAD で fine-tuning した SkelterLabsInc/bert-base-japanese-jaquad に対して TextPruner を使って Transformer Pruning したモデル。
• 枝刈りには，JaQuAD の訓練データのうち1024件を使用し，10イテレーションで実施。
• FFNのサイズを30%，attention head の数を 10 % 削減 (ffn: 3072, head: 12 -> ffn: 2150, head: 10)。
• ※ JaQuAD の実験コードと同じ前処理をした上で使用してください。
• ※ 上記の理由で， hf hub の Hosted inference API 上では適切な予測が出力されません。

JaQuAD の validation データでの性能

• フルモデル
  • F1 score: 0.779
  • Exact Match: 0.614
• 枝刈り後のモデル
  • F1 score: 0.756
  • Exact Match: 0.587