Веса поправки к скрытым состояниям для уменьшения потери связности текста при активационном стиринге \(h + \alpha v\). Вмешательство и починка применяются к выходу блока 6 GPT-2 small, направления взяты из SAE OpenAI resid_post_mlp_v5_32k, слой 6. Код, протокол и отчет: github.com/NikitaLosev/steering-denoiser, файл report/REPORT.md.

Это не модель для AutoModel.from_pretrained. Файлы подключаются руками через хук к потоку скрытых состояний (residual stream), пример ниже.

Лицензия MIT относится к весам денойзера и коду загрузчика из этого репозитория. Веса GPT-2, SAE и Qwen принадлежат их авторам; проверочные направления являются колонками декодера SAE OpenAI.

Пример скачивает снимок репозитория и загружает денойзер; кроме torch нужен пакет huggingface_hub.

Вывод: torch.Size([4, 768]). Аргумент r - сила искажения по позициям, равная \(\alpha / \lVert h \rVert\). Загрузка идет через weights_only=True.

Оператор Винера из статистики, без обучения; оператор и вход должны быть на одном устройстве и в одном типе данных:

Поправка применяется ко всем позициям, кроме нулевой: в собранном дампе ее норма примерно в 35 раз выше медианной 87.75, поэтому нулевая позиция исключена из проверенного протокола. Проверенный диапазон силы: от 40 до 250.

6000 шагов на миллионе активаций openwebtext. Искажение - сдвиг \(h + \alpha u\) вдоль случайных колонок декодера SAE из обучающего пула латентов; точные индексы 44 главных проверочных направлений в обучение не входили, геометрически близкие обучающие колонки отдельно не исключались. Сила \(\alpha / \lVert h \rVert\) равномерна от 0 до 3, десятая часть примеров чистая, сила подается в сеть через синус-косинусное кодирование. Сквозная абляция в отчете: интерполяционная схема зашумления из постановки проигрывает этому чекпойнту 0.76, сдвиги вдоль случайной сферы 0.28, вариант без условия по силе 0.17.

Прирост выраженности признака при равном dist_1, то есть при равной доле различных токенов, относительно сырого стиринга. 44 направления, строго лежащие в проверочном пуле (два из 46 отобранных оказались из обучающего пула и исключены), у всех методов одна область качества по dist_1 и общая точка без стиринга, продолжения обрезаются перед первым токеном конца текста, значимость - двусторонняя случайная смена знаков парных разностей. Главные агрегаты пересчитываются тестами репозитория кода.

Парная разница в пользу денойзера \(+0.448 \pm 0.110\), p = 0.00025. Знак сохраняется после нормировки на масштаб латента, по трем дополнительным парам метрик и на 20 строго отложенных направлениях, добавленных позже.

Хеши файлов этого репозитория: