Qwen3-Sex

Name: Qwen3-Sex
Availability: InStock

License

简体中文 | English

基于 Qwen3-4B-Instruct-2507 进行 SFT 后得到的对话模型。

[!WARNING] 本模型面向 18 岁以上成年用户，可能输出包含成人内容、露骨描写等不适合所有受众的文本。请在使用前阅读下方免责声明。

模型简介

项目	内容
基础模型	Qwen/Qwen3-4B-Instruct-2507
数据类型	bfloat16
上下文长度	原生支持 262,144（建议日常对话使用 4K–32K）
对话模板	ChatML（`<

仓库内容

文件	说明
`model-*.safetensors`	完整权重（bfloat16）
`config.json` / `tokenizer*` / `chat_template.jinja`	模型与分词器配置
`generation_config.json`	推荐推理参数（请保持默认以获得最佳效果）
`infer.py`	开箱即用的命令行多轮对话脚本
`Modelfile`	Ollama 导入用的 Modelfile
`Qwen3-Sex-BF16.gguf`	未量化 GGUF（BF16，约 8 GB）
`Qwen3-Sex-Q8_0.gguf`	Q8_0 量化 GGUF（约 4.3 GB）

快速使用

方式一：直接运行 `infer.py`（推荐）

仓库内已附带交互式命令行脚本，自动加载模型并按 generation_config.json 中的参数推理，开箱即用：

bash

# 安装依赖（建议使用 uv 创建虚拟环境）
uv venv
source .venv/bin/activate
uv pip install torch transformers accelerate

# 启动对话
python infer.py

[!TIP] 输入 clear 清空多轮对话历史，输入 exit 或 quit 退出。

方式二：最小化推理代码

python

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

MODEL_NAME = "ystemsrx/Qwen3-Sex"

tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME,
    dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)
model.eval()

# 加载推荐推理配置（保持默认即可获得最佳效果）
gen_config = GenerationConfig.from_pretrained(MODEL_NAME)

messages = [
    {"role": "user", "content": "你好，简单介绍一下你自己。"},
]

inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt",
    return_dict=True,
).to(model.device)

with torch.inference_mode():
    output_ids = model.generate(**inputs, generation_config=gen_config)

response = tokenizer.decode(
    output_ids[0][inputs["input_ids"].shape[-1]:],
    skip_special_tokens=True,
)
print(response)

方式三：导入 Ollama 使用 GGUF

仓库中提供了 GGUF 格式模型文件（Qwen3-Sex-BF16.gguf 和 Qwen3-Sex-Q8_0.gguf），可直接通过 Ollama 加载：

bash

# 使用仓库内的 Modelfile 创建模型
ollama create Qwen3-Sex -f Modelfile

# 启动对话
ollama run Qwen3-Sex

[!CAUTION] GGUF 格式（尤其是 Q8_0 量化版）相比原始 safetensors 权重，推理质量会有所下降，部分细节、长上下文连贯性以及生成的稳定性可能不如直接使用 infer.py。如果对生成质量有较高要求，请优先使用方式一或方式二。

免责声明

[!CAUTION] 下载或使用本模型即表示您已阅读、理解并同意以下全部条款。如不同意，请立即停止下载和使用。

点击折叠 / 展开完整声明

成人内容警告：本模型在含有成人导向内容的语料上进行了微调，可能生成包含露骨、敏感或不适合工作场所（NSFW）的文本。严禁未满 18 周岁的用户访问、下载或使用本模型。
使用范围：本模型仅供学术研究、个人非商业用途及虚构创作参考。使用者必须遵守所在国家或地区的法律法规，不得将本模型用于任何违法、侵犯他人权益、传播未成年人不当内容、生成真实人物不雅信息或其他违反公序良俗的目的。
责任归属：模型作者对使用本模型产生的任何直接或间接后果（包括但不限于法律责任、精神损害、财产损失等）不承担任何责任。模型生成的内容不代表作者的立场或观点。
平台合规：在任何第三方平台、服务或应用中使用本模型时，请同时遵守该平台的使用条款及内容政策。
风险自负：模型可能产生事实性错误、偏见性表达或有害内容，使用者应自行甄别并承担使用风险。
下载即视为同意：下载或使用本模型即表示您已阅读、理解并同意以上全部条款。如不同意，请立即停止下载和使用。

许可证

本模型遵循 Apache License 2.0 协议，并继承基础模型 Qwen/Qwen3-4B-Instruct-2507 的相关许可条款。

ystemsrx/Qwen3-Sex