sancho-mini: Un GPT a nivel de carácter que escribe sonetos como Cervantes
Este es un modelo Generative Pre-trained Transformer (GPT) entrenado desde cero con PyTorch para generar sonetos en español.
Detalles del Modelo
- Arquitectura: GPT (Decoder-only Transformer)
- Nivel de Tokenización: Carácter
- Tamaño del Vocabulario: 101
- Dimensión de Embedding (
n_embd): 256
- Longitud de Contexto (
block_size): 256
- Número de Capas Transformer (
n_layer): 4
- Número de Cabezas de Atención (
n_head): 4
- Tasa de Dropout: 0.2
- Número de Parámetros: 3.27M
Datos de Entrenamiento
El modelo fue entrenado con un corpus de sonetos en español (datos_sancho_mini.txt), los poemas en el dataset están estructurados con tokens especiales para indicar el inicio y el fin de cada poema.
Uso
Para usar este modelo, necesitas cargar el state_dict en una instancia de la arquitectura del modelo definida en el notebook de entrenamiento.
