sancho-mini: Un GPT a nivel de carácter que escribe sonetos como Cervantes
Este es un modelo Generative Pre-trained Transformer (GPT) entrenado desde cero con PyTorch para generar sonetos en español.
Detalles del Modelo
- Arquitectura: GPT (Decoder-only Transformer)
- Nivel de Tokenización: Carácter
- Tamaño del Vocabulario: 493
- Dimensión de Embedding (
n_embd): 384
- Longitud de Contexto (
block_size): 512
- Número de Capas Transformer (
n_layer): 6
- Número de Cabezas de Atención (
n_head): 6
- Tasa de Dropout: 0.2
- Número de Parámetros: 11.22M
Datos de Entrenamiento
El modelo fue entrenado con conversaciones ficticias.
Uso
Para usar este modelo, necesitas cargar el state_dict en una instancia de la arquitectura del modelo definida en el notebook de entrenamiento.
