Qwen3.5-27B-SafetyTuned-GGUF
APTO-001/Qwen3.5-27B-SafetyTuned のGGUF量子化版です。llama.cpp等の軽量推論環境でご利用いただけます。
GGUF quantized versions of APTO-001/Qwen3.5-27B-SafetyTuned by APTO, K.K. English version is provided below.
提供形式
| File | 量子化 | サイズ | 用途 |
|---|
Qwen3.5-27B-SafetyTuned-Q4_K_M.gguf | Q4_K_M（4-bit） | 約 15.4 GB | Mac / CPU 推論 |
Qwen3.5-27B-SafetyTuned-bf16.gguf | BF16（full） | 約 50.1 GB | GPU 推論、最高品質 |
性能検証結果（主要指標）
| 指標 | チューニング前 | チューニング後 | Δ |
|---|
| AC Acceptable Rate | 84.1% | 89.8% | +5.7pt |
| MT-Bench-ja（対話品質） | 8.97 | 8.97 | 維持 |
| SORRY-Bench 拒否率 | 85.3% | 90.4% | +5.1pt |
| JMMLU（5-shot） | 67.8% | 75.6% | +7.9pt |
全評価結果と学習手法の詳細は
本体モデルの model card をご覧ください。
注意事項
Qwen3.5はDeltaNetハイブリッドアーキテクチャを採用しています。正しく動作させるためには最新版の llama.cppをご利用ください。
制限事項
本モデルは日本語の安全性向上を主目的に設計されています。一般的なLLMの制約として、ハルシネーション、日本語以外の言語での挙動、医療・法務などの専門的助言としての利用は適切ではありません。
ライセンス
Apache 2.0（ベースモデルと同一）
お問い合わせ
株式会社APTOでは、LLMの安全性チューニングおよび学習データの設計・作成に取り組んでおります。ご関心をお持ちの方はお気軽にお問い合わせください。
Qwen3.5-27B-SafetyTuned-GGUF (English)
Overview
GGUF quantized versions of
APTO-001/Qwen3.5-27B-SafetyTuned, for use with llama.cpp and compatible lightweight inference environments.
Available Formats
| File | Quantization | Size | Use Case |
|---|
Qwen3.5-27B-SafetyTuned-Q4_K_M.gguf | Q4_K_M (4-bit) | ~15.4 GB | Mac & CPU inference |
Qwen3.5-27B-SafetyTuned-bf16.gguf | BF16 (full) | ~50.1 GB | GPU inference, highest quality |
Evaluation Results (key metrics)
| Metric | Baseline | Tuned | Δ |
|---|
| AC Acceptable Rate | 84.1% | 89.8% | +5.7pt |
| MT-Bench-ja (dialogue quality) | 8.97 | 8.97 | preserved |
| SORRY-Bench refusal rate | 85.3% | 90.4% | +5.1pt |
| JMMLU (5-shot) | 67.8% | 75.6% | +7.9pt |
For the full evaluation table and training method details, please refer to the
parent model card.
Usage
Download
1# Q4_K_M (recommended for Mac)
2huggingface-cli download APTO-001/Qwen3.5-27B-SafetyTuned-GGUF \
3 Qwen3.5-27B-SafetyTuned-Q4_K_M.gguf --local-dir .
4
5# BF16 (highest quality)
6huggingface-cli download APTO-001/Qwen3.5-27B-SafetyTuned-GGUF \
7 Qwen3.5-27B-SafetyTuned-bf16.gguf --local-dir .
Inference with llama.cpp
1# CLI
2./llama-cli -m Qwen3.5-27B-SafetyTuned-Q4_K_M.gguf -p "your prompt here" -n 512
3
4# Server
5./llama-server -m Qwen3.5-27B-SafetyTuned-Q4_K_M.gguf --port 8080
Notes
The Qwen3.5 architecture uses DeltaNet hybrid attention. Please use the latest version of llama.cpp for correct support.
Limitations
Designed primarily for Japanese-language safety improvement. As with general LLMs, hallucinations may occur, behavior in languages other than Japanese is not specifically tuned, and the model is not intended as professional medical, legal, or financial advice.
License
Apache 2.0 (same as the base model)
Contact
APTO, K.K. designs and creates training data for LLM safety tuning. Please feel free to contact us for related inquiries.
