BGE-M3 Dynamic INT8

Квантизация

• метод: PyTorch dynamic quantization;
• квантизованные модули: torch.nn.Linear;
• тип параметров: torch.qint8;
• устройство выполнения: CPU;
• максимальная длина последовательности: 128.

Содержимое репозитория

• bge_m3_quantized_state_dict.pt — квантованный state_dict;
• load_quantized_model.py — скрипт восстановления модели;
• quantization_config.json — параметры квантизации;
• requirements.txt — зависимости.

Пример загрузки

from load_quantized_model import load_model

model = load_model()

embeddings = model.encode(
    ["Первый текст", "Второй текст"],
    batch_size=4,
    show_progress_bar=False,
    normalize_embeddings=True,
    convert_to_numpy=True,
    device="cpu",
)

print(embeddings.shape)

Важно