The original model is a fine-tuned variant of Qwen/Qwen3.5-4B, specialized for emotion recognition and emotionally-aware text generation. As a native MLX format, this version also retains the base model's vision-language capability.

Detail	Value
Base Model	Qwen/Qwen3.5-4B
Fine-tune	OmniDimen-v2.5-4B-Emotion
Quantization	oQ6 (6-bit mixed-precision)
Quantization Tool	oMLX oQ
Format	MLX safetensors
Size on Disk	~3.8 GB
Context Length	262,144 tokens (max)
License	MIT

Vision Capability (VLM)

Since Qwen3.5-4B is natively a vision-language model, this MLX quantized version retains full image understanding capability. The vision encoder weights are preserved during oQ quantization.

Quantization Details

This model was quantized using oQ (oMLX's built-in quantization system). Unlike uniform quantization, oQ performs per-layer sensitivity analysis through calibration and dynamically allocates bit precision using a mix of mxfp4, mxfp8, and affine formats where the data indicates they matter most.

Compatibility Notes

During quantization testing on this fine-tuned model, we observed the following:

oQ6 ✅ — Generates normally. Recommended for use.
oQ4 ❌ — Model fails to generate output (silent).
oQ8 ❌ — Model fails to generate output (silent).
oQ Enhanced (AWQ) ❌ — Reasoning chain breaks; output is incoherent.

These results are specific to this fine-tuned model (based on Qwen3.5-4B). The base Qwen3.5 architecture contains quantization-sensitive layers (e.g., SSM and attention layers) that may behave unpredictably at certain precision levels after fine-tuning. If you plan to quantize other OmniDimen variants, we recommend testing multiple oQ levels before deployment.

Download & Use

With oMLX (Recommended for Mac)

Install oMLX on your Mac.
Search and download this model directly from the oMLX admin dashboard.
Load and chat via the oMLX web dashboard or OpenAI-compatible API at http://localhost:8000/v1.

With mlx-lm

oQ produces standard MLX safetensors — no custom loader required.

pip install mlx-lm

python

from mlx_lm import load, generate

model, tokenizer = load("OmniDimen/OmniDimen-v2.5-4B-Emotion-oQ6")

messages = [
    {"role": "user", "content": "你认为自己是什么？"}
]

prompt = tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)

response = generate(
    model, tokenizer, prompt=prompt, max_tokens=2048
)
print(response)

With any MLX-compatible app

This model works with any application that supports MLX safetensors format, including LM Studio (MLX backend) and other MLX-based tools.

Usage Tips

Before starting emotional interactions, it is recommended to inform the model of the user's identity (e.g., how OmniDimen should address the user). This helps reduce hallucinations.
This model is emotion-focused and may not perform as broadly as the base Qwen3.5-4B model.
Use responsibly with sensitive content.

Acknowledgments

OmniDimen team for the fine-tuned base model
oMLX by jundot for the quantization tool and inference server
Qwen team for the Qwen3.5-4B foundation model

中文说明

概述

本模型是 OmniDimen-v2.5-4B-Emotion 的 oQ6 量化版本，专为 Apple Silicon 设备优化，使用 MLX 框架进行推理。

原始模型基于 Qwen/Qwen3.5-4B 微调，专注于 情感识别与情感感知文本生成。作为原生 MLX 格式，本版本还 保留了基座模型的视觉语言能力。

信息	内容
基座模型	Qwen/Qwen3.5-4B
微调版本	OmniDimen-v2.5-4B-Emotion
量化精度	oQ6（6-bit 混合精度）
量化工具	oMLX oQ
格式	MLX safetensors
磁盘大小	~3.8 GB
最大上下文长度	262,144 tokens
许可证	MIT

视觉能力（VLM）

由于 Qwen3.5-4B 原生支持视觉语言，本 MLX 量化版本 完整保留了图像理解能力。oQ 量化过程中视觉编码器权重被保留。

量化说明

本模型使用 oQ（oMLX 内置量化系统）进行量化。与均匀量化不同，oQ 通过校准数据对每一层进行 敏感度分析，动态分配比特精度，混合使用 mxfp4、mxfp8 和 affine 格式，在模型质量和体积之间取得最佳平衡。

量化兼容性记录

在对该微调模型进行量化测试时，我们观察到以下结果：

oQ6 ✅ — 正常生成，推荐使用。
oQ4 ❌ — 无法生成输出（静默失败）。
oQ8 ❌ — 无法生成输出（静默失败）。
oQ Enhanced（AWQ 模式） ❌ — 推理链断裂，输出不连贯。

以上结果针对该微调模型（基于 Qwen3.5-4B）。Qwen3.5 架构中包含对量化敏感的层（如 SSM 和注意力层），微调后在特定精度下可能表现异常。如需量化其他 OmniDimen 模型变体，建议先测试多个 oQ 精度级别。

下载与使用

使用 oMLX（Mac 推荐）

在 Mac 上安装 oMLX。
在 oMLX 管理面板中直接搜索并下载本模型。
通过 oMLX 网页面板或 OpenAI 兼容 API（http://localhost:8000/v1）加载并对话。

使用 mlx-lm

oQ 生成的是标准 MLX safetensors 格式，无需自定义加载器。

pip install mlx-lm

python

from mlx_lm import load, generate

model, tokenizer = load("OmniDimen/OmniDimen-v2.5-4B-Emotion-oQ6")

messages = [
    {"role": "user", "content": "你认为自己是什么？"}
]

prompt = tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)

response = generate(
    model, tokenizer, prompt=prompt, max_tokens=2048
)
print(response)

使用其他 MLX 兼容应用

本模型兼容所有支持 MLX safetensors 格式的应用，包括 LM Studio（MLX 后端）等工具。

使用建议

在开始情感互动前，建议先告知模型用户的身份信息（如希望 OmniDimen 如何称呼你），这有助于减少幻觉。
本模型 专注于情感对话，在通用任务上的表现可能不如基座 Qwen3.5-4B。
请负责任地使用，注意敏感内容。

致谢

OmniDimen 团队提供微调基座模型
oMLX（作者 jundot）提供量化工具与推理服务器
Qwen 团队提供 Qwen3.5-4B 基础模型