Agents-A1-4B-Heretic-ARA-Refusals8-GGUF – AI Model by NullpoLab | AlphaNeural AI

You can deploy this model and start earning money today!

NullpoLab/
Agents-A1-4B-Heretic-ARA-Refusals8-GGUF

like

0

text-generation

NullpoLab/Agents-A1-4B-Heretic-ARA-Refusals8

endpoints_compatible

Views

No views yet

English version: README_en.md

Agents-A1-4B-Heretic-ARA-Refusals8-GGUF

NullpoLab/Agents-A1-4B-Heretic-ARA-Refusals8 のGGUF量子化版です。

概要

InternScience/Agents-A1-4B を Heretic v1.2.0 の Arbitrary-Rank Ablation (ARA) 手法を用いて検閲解除したモデルです。

変換に関する注記

現時点では、そのままGGUF化すると読み込みエラーが発生するため、暫定的な回避策としてconfig.jsonの"mtp_num_hidden_layers"を0に変更しています。

Abliteration パラメータ

パラメータ	値
start_layer_index	9
end_layer_index	26
preserve_good_behavior_weight	0.9812
steer_bad_behavior_weight	0.0001
overcorrect_relative_weight	1.0962
neighbor_count	15

性能

指標	このモデル	元のモデル (InternScience/Agents-A1-4B)
拒否率	8/100	85/100
KL発散	0.0002	0 (定義上)

評価は mlabonne/harmful_behaviors（テスト 100 プロンプト）で拒否率を、mlabonne/harmless_alpaca（テスト 100 プロンプト）で KL 発散を計測しました。

注記

このモデルは研究およびクリエイティブライティング目的を想定しています
拒否率の評価は英語プロンプトのみで実施しています。日本語プロンプトでの動作は異なる場合があります
ベースモデル: NullpoLab/Agents-A1-4B-Heretic-ARA-Refusals8
Heretic: p-e-w/heretic