Este modelo basado en Roberta se entrenó usando más de 140 millones de tweets de México en español. Recolectados entre diciembre del 2015 y febrero del 2023.
A cada mensaje se le agruegó una etiqueta de información regionalizada como sigue:
Tamaulipas _GEO Ando de buenas que ya les devolví sus unfollows y métanselos por el culo ☺.
BCS _GEO Ésa canción que cantas en silencio y la otra persona tmb. Bn raro.
Tamaulipas _GEO Hoy es la primera vez que manejo en estado de ebriedad 😞🙃
Como se puede observar, se mantuvieron mayúsculas y minúsculas, emoticones y palabras mal escritas.
Por motivos de privacidad, se cambiaron las mensciones de usuario por el token _USR y las direcciones de
internet por _URL.
Los tokens que idican el estado de la república son:
Estado
Token
Aguascalientes
Aguascalientes
Baja California
BC
Baja California Sur
BCS
Campeche
Campeche
Chiapas
Chiapas
Chihuahua
Chihuahua
Ciudad de México
Mexico_City
Coahuila de Zaragoza
Coahuila
Colima
Colima
Durango
Durango
Guanajuato
Guanajuato
Guerrero
Guerrero
Hidalgo
Hidalgo
Jalisco
Jalisco
Michoacán de Ocampo
Michoacán
Morelos
Morelos
México
Mexico
Nayarit
Nayarit
Nuevo León
NL
Oaxaca
Oaxaca
Puebla
Puebla
Querétaro
Querétaro
Quintana Roo
QR
San Luis Potosí
SLP
Sinaloa
Sinaloa
Sonora
Sonora
Tabasco
Tabasco
Tamaulipas
Tamaulipas
Tlaxcala
Tlaxcala
Veracruz de Ignacio de la Llave
Veracruz
Yucatán
Yucatán
Zacatecas
Zacatecas
Se creó el vocabulario de tamaño 30k usando WordPiece. El modelo se entrenaron usando el enmascaramiento de palabras con probabilidad de 0.15.
Se usó el optimizador AdamW con una tasa de aprendizaje de 0.00002 durante una época.
Uso
El modelo funciona con la versión 4.39.3 de Transformers
El modelo se puede usar con una pipeline:
from transformers import pipeline
unmasker = pipeline('fill-mask', model="guillermoruiz/mex_state")
for p in unmasker("<mask> _GEO Van a ganar los Tigres."):
print(p['token_str'], p['score'])
for p in unmasker("<mask> _GEO Vamos para Mérida."):
print(p['token_str'], p['score'])
Yucatán 0.9046052694320679
QR 0.01990741863846779
Mexico_City 0.009980794973671436
Tabasco 0.009980794973671436
Jalisco 0.007273637689650059
Información Regional
Usando las capas de atención, se extrajeron las palabras más importantes para elegir el token de región.
Esas palabras formaron el vocabulario asociado a cada una de las regiones.
Los vocabularios pudieron ser comparados para formar la siguiente matriz de similaridad.
algo
Bias, Risks, and Limitations
[More Information Needed]
Evaluación
Este modelo es el que se indica como MexLarge en la siguiente tabla.
Los conjuntos de prueba son tweets escritos en México y se puede ver que los modelos
con información regional (MexSmall y MexLarge) tiene una clara ventaja contra las
alternativas.
Dataset
MexSmall
MexLarge
BETO
RoBERTuito
BERTIN
Metric
RegTweets
0.7014
0.7244
0.6843
0.6689
0.7083
macro-F1
MexEmojis
0.5044
0.5047
0.4223
0.4491
0.4832
macro-F1
HomoMex
0.8131
0.8266
0.8099
0.8283
0.7934
macro-F1
Los conjuntos de datos RegTweets y MexEmojis están disponibles en Huggingface.
En la siguiente tabla se ven los resultados en textos en español genérico.
Se puede apreciar que los modelos con información regional son muy competitivos
a las alternativas.
