Tulio ha sido entrenado con textos en español de Chile (noticias, web, reclamos y tweets) y libros en español. Este modelo se caracteriza por presentar resultados sobresalientes respecto a otros modelos en español en tareas que involucren español de Chile.
Hiperparámetros de entrenamiento
Los siguientes hiperparámetros fueron usados durante el entrenamiento:
learning_rate: 2e-05
train_batch_size: 64
eval_batch_size: 64
seed: 13
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: constant
num_epochs: 1
Training Loss
Epoch
Training Loss
0.1
1.5646
0.2
1.4615
0.3
1.4251
0.4
1.4013
0.5
1.3836
0.6
1.3704
0.7
1.3598
0.8
1.3506
0.9
1.3429
1.0
1.3995
Evaluación y comparativa con otros modelos en español
La licencia CC BY 4.0 es la que mejor describe las intenciones de nuestro trabajo. Sin embargo, no estamos seguros de que todos datos utilizados para entrenar este modelo tengan licencias compatibles con CC BY 4.0 (especialmente para uso comercial).
Limitaciones
El dataset de entrenamiento no recibió ningún tipo de censura. Por lo tanto, el modelo puede contener representaciones ideológicas no deseadas. Utilizar con precaución.
