Este modelo autorregresivo está basado en la arquitectura GPT-2, configurado de manera compacta (4 capas, 4 cabezas de atención) y entrenado desde cero (from scratch). Se diseñó como una prueba de concepto avanzada para mitigar el sobreajuste (overfitting) en escenarios de extrema escasez de datos (Low-Resource NLP).
1from transformers import pipeline
2
3generator = pipeline("text-generation", model="ManuelBautista/gpt2-small-nahuatl-nativo")
4print(generator("Niltze", max_length=20))
