このリポジトリは、MarianMTモデル（特に日本語-英語翻訳）のONNX形式での4-bit量子化を、TFMC日本語iMatrixデータセットを使用して実行するノートブックとツールを提供します。
onnx-imatrix-japanese-quantization/
├── notebooks/
│ └── onnx_imatrix_quantization_japanese.ipynb # メイン量子化ノートブック
├── examples/
│ └── quick_start_example.py # クイックスタート例
├── models/
│ ├── *_dynamic_quantized.onnx # 動的量子化モデル
│ ├── *_static_quantized.onnx # 静的量子化モデル
│ └── japanese_imatrix_data.txt # 日本語キャリブレーションデータ
├── docs/
│ └── troubleshooting.md # トラブルシューティングガイド
└── README.md
1pip install onnx onnxruntime numpy torch transformers datasets
2pip install onnxruntime-tools optimum[onnxruntime] sentencepiece huggingface_hub
1# Google Colab または Jupyter環境で
2# notebooks/onnx_imatrix_quantization_japanese.ipynb を開いて実行
-
"indices element out of data bounds"エラー
- キャリブレーションサンプル数を削減 (
max_samples=20)
- より短いテキストを使用
-
"Got invalid dimensions"エラー
- 元の非量子化ONNXモデルを使用
- モデル入力仕様を確認
