Se trata de un modelo de clasificación de texto que predice la categoría a la que pertenece un tweet en relación a diferentes marcas de productos u empresas en el rubro de alimentación, construcción, automoviles, etc. (7 categorias). El modelo fue entrenado con un modelo base basado en la arquitectura de BERT. Particularmente, se utilizó BETO el cual es un modelo de BERT entrenado sobre un conjunto de datos en español. BETO tiene dimensiones similares a
BERT-Base y fué entrenado con la técnica de Whole Word Masking. Para mas detalles sobre este modelo base puede ver la documentación del autor
Spanish Pre-Trained BERT Model and Evaluation Data.
El conjunto de datos con el que se entrenó el modelo corresponde a
Spanish Corpus of Tweets for Marketing.
