量化信息记录于仓库内 config.json：

json

{
  "model_type": "confucius4",
  "sample_rate": 22050,
  "quant_bits": 8,
  "quant_group_size": 64
}

子模型组成

本仓库是一个多组件 TTS 系统，共 5 个 safetensors 权重文件：

另含 checkpoints/tokenizer.json 分词器。

量化张量明细

共 68 个 int8 量化张量：

张量	精度	量化层
`mlp.c_fc.weight` + `mlp.c_proj.weight`	int8	全部 24 层
`attn.c_attn.weight`（QKV 合并投影）	int8	层 2–9、12–23（20 层）
`attn.c_attn.weight`	float32（保留）	层 0、1、10、11（4 层）
`attn.c_proj.weight`	float32（保留）	全部 24 层

规律：所有 MLP 投影与绝大多数 attention 投影量化到 int8；4 层的 c_attn 与全部 c_proj 保留 float32。

136 个 int8 量化张量：各 encoder 层的 self_attn.linear_q/k/v/out 与 ffn1/ffn2 的 intermediate_dense/output_dense 均量化。

s2a_mlx、bigvgan_mlx、campplus 均为全 float32，未量化——语音解码、声码、说话人编码等影响音频质量的模块保持高精度。

本模型适用于中文语音合成。
本地推理需 Apple Silicon（MLX 依赖 Metal）。
量化以 group_size=64 的 int8 进行，主要缩减 LLM 与语义编码器模型体积；音频质量关键层保留 float32，以兼顾体积与音质。
混合精度配置为实测比较不同精度组合后选定：在 Apple M5 Max 芯片上实测可见效（可用、可正常推理），同时保留了绝大部分语音生成性能（音质与合成效果基本等同高精度版本）。

python

import mlx.core as mx
from mlx_lm.utils import load  # 或以 mlx-audio 的 Confucius 加载接口为准

详细推理流程可参考本项目 mlx-audio 的 Confucius4 实现。