Чекпойнт тестового задания T-LAB, направление mechanistic interpretability.

Denoiser обучен на естественных активациях GPT-2 small и возвращает активацию, сдвинутую линейным steering, обратно к многообразию естественных активаций. Обучение идёт по velocity field в духе flow matching, а на inference делается один шаг Эйлера вместо двадцати.

Одношаговый вариант даёт то же качество, что двадцатишаговый, при вмешательстве в 7.7 раза более быстром. Время измерено как длительность самого repair, а не полный wall-clock генерации.

Активации собраны на FineWeb, train и validation разделены по хешу документа, BOS исключён, validation direction не участвовало в обучении denoiser. Property меряется SST-2-классификатором, quality — conditional continuation NLL под чистой GPT-2. Три training seeds, M1 Max.

Код, отчёт со всеми экспериментами и самодостаточная HTML-диагностика — в репозитории проекта.