Views
No views yet
REPORT.md).h̃ = h + α·v (где v — вектор из SAE-декодера) усиливает нужное свойство в генерации, но при росте α разваливает связность текста. Оба чекпойнта учатся исправлять это, не убирая сам стиринг.denoiser.pt — коррекция на слое инъекции (слой 6 из 12): h̃ = denoiser(h + α·v, α/300). Стабильнее по всей сетке α ∈ {32, 128, 256}, разброс perplexity относительно plain steering — в пределах ±110.denoiser_L8.pt — коррекция ниже по потоку, на слое 8. Обучен на отдельной задаче (парные clean/corrupted активации слоя 8). Даёт лучший наблюдавшийся в проекте результат (weather, α=128: perplexity 583 против 1110 у сырого стиринга, concept-активация выше) при доминировании по обеим осям одновременно, но менее предсказуем на других доменах (разброс шире, есть выбросы).denoiser.pt) или пиковый эффект (denoiser_L8.pt). Подробное сравнение — §6 отчёта.1class Denoiser(nn.Module):
2 def __init__(self, d_model=768, hidden_mult=4):
3 super().__init__()
4 hidden = d_model * hidden_mult
5 self.net = nn.Sequential(
6 nn.Linear(d_model + 1, hidden), # +1 — conditioning на alpha/ALPHA_MAX_COND
7 nn.GELU(),
8 nn.Linear(hidden, hidden),
9 nn.GELU(),
10 nn.Linear(hidden, d_model),
11 )
12
13 def forward(self, h, alpha_norm=None):
14 ...
15 return h + self.net(torch.cat([h, alpha_norm], dim=-1)) # residual-формулировкаdenoiser.py репозитория.1import torch
2from denoiser import Denoiser, ALPHA_MAX_COND
3
4denoiser = Denoiser()
5denoiser.load_state_dict(torch.load("denoiser.pt")["state_dict"])
6denoiser.eval()
7
8# h — активация residual stream (768,) на слое 6, alpha — сила стиринга
9h_corrected = denoiser(h + alpha * v, alpha / ALPHA_MAX_COND)denoiser_L8.pt — та же архитектура, но применяется хуком на слое 8, при этом стиринг на слое 6 не трогается (см. eval_steering.py, метод denoised_downstream).transformer_lens)denoiser.pt: корруптирование h + α·u (u — случайное единичное направление, α ~ U[0,300]), 300 эпохdenoiser_L8.pt: парные данные (чистая/протёкшая активация слоя 8 при случайном возмущении на слое 6), 300 эпохREPORT.md репозитория.