Este modelo basado en Roberta se entrenó usando más de 600 millones de tweets en español
recolectados entre diciembre del 2015 y febrero del 2023.
A cada mensaje se le agruegó una etiqueta de información regionalizada como sigue:
_cc _year _mo Texto del mensaje.
donde _cc es el código de dos letras del país de origen del mensaje, _year y _mo son el año y el mes de publicación.
Por ejemplo
_do _2017 _09 Y que es lo que uno va hacer con _usr ? E ponen hoy mi Plan de dato y con 5 minutos de eso se acabó _usr _usr 😤😤
_ve _2016 _08 No te necesito, ni quiero morir por ti me sobran las razones para andar este camino pero que sentido tiene, yo te vi entre tanta gente
_ar _2020 _03 soy demasiado buena para todo el mundo y se viven cagando en mí, que hago? me vuelvo una forra de mierda así me valoran?
_mx _2019 _12 Felicidades para la nueva pareja, y para usted tambien. Gracias por el pedazo de pastel. _url
_mx _2022 _01 Mayra, lectora de "El psicoanalista" del escritor estadounidense John Katzenbach. Felicidades. _url
_es _2020 _05 _usr Ansias no ,lo tradicional es en semana Santa helados Durán, vamos con retraso, tenemos que recuperar los helados perdidos, jajajaja
Como se puede observar, se mantuvieron mayúsculas y minúsculas, emoticones y palabras mal escritas.
Por motivos de privacidad, se cambiaron las menciones de usuario por el token _usr y las direcciones de internet por _url.
Los tokens que se usaron para los códigos de los paíes son:
País
Código
Argentina
_ar
Bolivia
_bo
Colombia
_co
Costa Rica
_cr
Chile
_cl
Cuba
_cu
Ecuador
_ec
El Salvador
_sv
España
_es
Guatemala
_gt
Honduras
_hn
México
_mx
Nicaragua
_ni
Panamá
_pa
Paraguay
_py
Perú
_pe
República Dominicana
_do
Uruguay
_uy
Venezuela
_ve
Los años son _2015 a _2023 y los meses _01 hasta _12.
Se creó el vocabulario de tamaño 30k usando WordPiece. El modelo se entrenaron usando el enmascaramiento de palabras con probabilidad de 0.15.
Se usó el optimizador AdamW con una tasa de aprendizaje de 0.00002 durante una época.
Uso
El modelo se puede usar con una pipeline:
from transformers import pipeline
unmasker = pipeline('fill-mask', model="guillermoruiz/bilmaLAT")
