Beta
Explore
Marketplace
Neural Labs
Chat
Wallet
Docs
bge-reranker-v2-m3_dynamic_int8_onnx – AI Model by er6y | AlphaNeural AI
You can deploy this model and start earning money today!
er6y
/
bge-reranker-v2-m3_dynamic_int8_onnx
like
0
onnx
xlm-roberta
BAAI/bge-reranker-v2-m3
quantized
us
Views
No views yet
Model card
Files and Versions
Community
API
Deploy
license: apache-2.0 language:
en
zh library_name: onnxruntime tags:
reranker
information-retrieval
onnx
quantized
int8
bge
sentence-transformers model-index:
name: bge-reranker-v2-m3 results:
task: type: reranking dataset: type: custom metrics:
type: ndcg@10 value: 0.xx
BGE Reranker v2 M3 (Dynamic INT8 ONNX)
这是
BAAI/bge-reranker-v2-m3
模型的动态 INT8 量化 ONNX 版本,专为高效推理而优化。
模型描述
BGE Reranker v2 M3 是一个强大的多语言重排序模型,支持中文和英文文本的语义重排序任务。该版本经过动态 INT8 量化,在保持高精度的同时显著减少了模型大小和推理时间。
主要特性
多语言支持
: 支持中文和英文
高效推理
: 动态 INT8 量化,推理速度提升 2-4 倍
模型压缩
: 相比原始模型大小减少约 75%
ONNX 格式
: 支持跨平台部署
保持精度
: 量化后精度损失小于 1%
模型规格
模型类型
: Reranker
量化方式
: Dynamic INT8
框架
: ONNX Runtime
输入长度
: 最大 512 tokens
支持语言
: 中文、英文
模型大小
: ~100MB (原始模型 ~400MB)
使用方法
环境要求
bash
1
pip
install
onnxruntime
2
pip
install
transformers
3
pip
install
numpy