replicate-HatEval-robertuito-base-uncased

Modelo con fines pedagógicos. Fue entrenado como ejemplo de fine-tuning y de replicación de resultados para un curso de posgrado. No está pensado para moderación de contenido ni para ningún uso en producción. Ver Sesgos, riesgos y limitaciones.

Detalles del modelo

• Desarrollado por: [Germán Rosati / CONICET - factor_data - EIDAES - UNSAM]
• Tipo de modelo: RoBERTa base (12 capas, 12 cabezas, dimensión oculta 768, vocabulario SentencePiece de 30K, ~108M parámetros) con cabeza de clasificación de secuencias, 2 clases
• Idioma: Español (variedad de Twitter; el corpus original tiene foco en España)
• Licencia: CC-BY-NC-4.0, heredada de HatEval. El uso comercial no está permitido.
• Fine-tuneado a partir de: pysentimiento/robertuito-base-uncased

Fuentes

• Repositorio: https://github.com/gefero/factor_data_tuto_NLP_SICSS
• Modelo base: Pérez et al. (2022), RoBERTuito: a pre-trained language model for social media text in Spanish, LREC 2022 — https://aclanthology.org/2022.lrec-1.785/
• Datos: Basile et al. (2019), SemEval-2019 Task 5 — https://aclanthology.org/S19-2007/

Usos

Uso directo

Usos fuera de alcance

• Moderación de contenido o cualquier decisión automatizada sobre personas. El modelo se equivoca en aproximadamente uno de cada cinco tuits del test, y los errores no se distribuyen de manera uniforme entre grupos.
• Otros blancos de odio. HatEval anota únicamente misoginia y xenofobia. Contenido homofóbico, antisemita, capacitista o racista contra otros grupos no fue anotado como odio durante el entrenamiento y el modelo tenderá a no detectarlo.
• Otras variedades del español o textos que no sean tuits. El corpus proviene principalmente de Twitter en España, entre 2018 y 2019.
• Uso comercial, por la licencia de los datos.

Sesgos, riesgos y limitaciones

• El modelo aprende tema, no postura. El corpus se recolectó filtrando por palabras clave, así que los mensajes que hablan sobre migración o feminismo están sobrerrepresentados en ambas clases. Es esperable que el contradiscurso, la cita de mensajes de odio y la discusión neutral sobre esos temas produzcan falsos positivos.
• Sobre-predicción sistemática de odio. En las 10 corridas, la precisión sobre la clase positiva (0.727 ± 0.022) es unos 12 puntos menor que el recall (0.845 ± 0.019). Cerca de uno de cada cuatro tuits marcados como odio no lo es según los anotadores. Además, la precisión es la métrica más inestable de todas: su desvío duplica al del macro-F1.
• Generalización limitada. El macro-F1 cae de 0.885 en validación a 0.802 en test —8.3 puntos— pese a que ambas particiones tienen proporciones de clase similares (44.4% y 41.3%). La caída no se explica por desbalance sino por diferencias de contenido. Es razonable esperar caídas iguales o mayores en cualquier corpus distinto de HatEval.
• "Discurso de odio" no es una categoría natural. El modelo reproduce el esquema de anotación de HatEval, con sus criterios y sus desacuerdos, no una definición universal.
• Odio implícito. Ironía, eufemismos y dog whistles sin insultos explícitos se detectan mucho peor que el odio explícito.
• Desfase temporal. Los datos son de 2018-2019; el vocabulario del discurso de odio online cambia rápido.
• Calibración. El entrenamiento continúa varias épocas más allá del mínimo de la loss de validación. Las probabilidades están sobreconfiadas: sirven para ordenar ejemplos, no como estimaciones calibradas.
• Contenido. Los datos de entrenamiento contienen lenguaje abusivo real y sin filtrar.

Recomendaciones

Cómo empezar

Importante. Este modelo requiere el preprocesamiento de RoBERTuito. Sin él, la entrada no coincide con el formato de entrenamiento y el rendimiento cae. Ver Preprocesamiento.

Detalles de entrenamiento

Datos

Procedimiento

Preprocesamiento

• handles de usuario → @usuario
• hashtags → token hashtag seguido del texto segmentado
• emojis → descripción textual entre tokens emoji
• repeticiones de caracteres limitadas a tres

Hiperparámetros

Evaluación

Métricas

Resultados: 10 corridas sobre el test oficial (1.599 instancias)

Resumen estadístico (test)

Selección del checkpoint publicado

Advertencia sobre el número del modelo publicado. El test macro-F1 de esta semilla, 0.8136, es también el máximo de las 10 corridas. Es coincidencia: la correlación entre dev y test en estas 10 corridas es prácticamente nula (Pearson r = −0.02, Spearman ρ = −0.14). Elegir por dev no ayuda a conseguir un buen test, solo evita el sesgo de haber elegido por test. Nótese que el máximo en test está 1.2 puntos por encima de la media: ese es exactamente el sesgo que se habría introducido al seleccionar por test.

Comparación con la bibliografía

Baselines no incluidos. Esta ficha no reporta baselines (clase mayoritaria, TF-IDF + regresión logística). Sin ellos no es posible cuantificar cuánto aporta el fine-tuning de un modelo preentrenado respecto de métodos superficiales sobre este corpus.

Observaciones

1. La variabilidad entre semillas es sustancial. El rango de macro-F1 en test abarca 3.7 puntos (0.7765 a 0.8136), con un desvío de 0.011. Cualquier diferencia menor a ~2 puntos entre configuraciones no es distinguible del ruido sin promediar varias corridas.
2. La precisión es la métrica más inestable, con un desvío que duplica al del macro-F1. El recall se mantiene sistemáticamente alto: el modelo sobre-predice odio en todas las corridas.
3. La brecha validación-test es de 8.3 puntos y consistente en las 10 corridas, con proporciones de clase similares en ambas particiones. La diferencia proviene del contenido, no del balance.
4. Dev no predice test. Ver la advertencia arriba.

Impacto ambiental

• Hardware: [COMPLETAR: p.ej. 1× NVIDIA T4 en Google Colab]
• Horas de cómputo: ~0.7 h (10 corridas de ~4 minutos)
• Proveedor / región: [COMPLETAR]
• Emisiones estimadas: despreciables frente al preentrenamiento del modelo base, que requirió unas tres semanas de TPU v3-8.

Especificaciones técnicas

Citación

Glosario

• Macro-F1: promedio no ponderado del F1 de cada clase. A diferencia de la accuracy, penaliza fuertemente a los modelos que ignoran la clase minoritaria. Es la métrica oficial del shared task.
• F1 (clase odio): F1 calculado únicamente sobre la clase positiva. En este modelo es sistemáticamente más bajo que el macro-F1 y no es comparable con las cifras publicadas.

Archivos adicionales

• resultados_semillas.csv — métricas completas de las 10 corridas.

Autoría de la ficha

Contacto