Implementacion minima de prueba para el optimizador SMT, descrito en el paper "Automatic Discovery of Redundant Attention Biases via Adaptive Statistical Masking Dynamics" (Lopez Armenta, 2026).

Este script mide la Tension de Gradientes (EWMA del gradiente absoluto por parametro) durante el entrenamiento de un modelo causal tipo GPT. Es una version reducida con fines demostrativos: no incluye el mecanismo completo de masking/sparsification del paper.

Esto entrena sshleifer/tiny-gpt2 por 5 pasos sobre datos sinteticos y al final imprime la tension acumulada por cada parametro del modelo.

Si usas este codigo o las ideas del paper, por favor cita:

Ver tambien CITATION.cff para el formato automatico de GitHub.

Ver archivo LICENSE.