mbart-neutralization
This model is a fine-tuned version of
facebook/mbart-large-50 on an unknown dataset.
It achieves the following results on the evaluation set:
- Loss: 0.0092
- Bleu: 98.7913
- Gen Len: 18.5
Model description
mbart-neutralization es una versión fine-tuned de facebook/mbart-large-50, un modelo multilingüe de secuencia a secuencia preentrenado sobre 50 idiomas. Este modelo ha sido adaptado para la tarea de neutralización de texto (text neutralization), cuyo objetivo es transformar oraciones con carga subjetiva, sesgada o polarizada en versiones más neutras, objetivas o formales, preservando el significado original. El modelo es especialmente útil en contextos donde se requiere reducir el sesgo lingüístico, normalizar el tono de textos o estandarizar contenido generado por usuarios.
Intended uses & limitations
Usos previstos:
- Neutralización o desambiguación de texto con carga emocional, política o subjetiva
- Preprocesamiento de textos para sistemas de información neutral
- Normalización de lenguaje en pipelines de NLP
- Investigación en detección y reducción de sesgos en texto
Limitaciones:
- El modelo fue entrenado sobre un dataset específico no documentado públicamente, por lo que su generalización a otros dominios o idiomas puede ser limitada
- Dado que el modelo base (mbart-large-50) es multilingüe, el rendimiento puede variar significativamente entre idiomas según la representación en los datos de entrenamiento
- Un BLEU de ~98.49 sobre el conjunto de evaluación sugiere alta similitud con las referencias, pero puede indicar sobreajuste o bajo nivel de transformación real si el dataset tiene pares muy similares entre entrada y salida
- No recomendado para uso en producción sin validación humana adicional
Training and evaluation data
El modelo fue entrenado sobre un dataset de pares de oraciones compuesto por texto original (con sesgo o subjetividad) y su versión neutralizada. Los detalles exactos del dataset no están disponibles públicamente. El conjunto fue dividido en particiones de entrenamiento y evaluación, con las métricas reportadas sobre el conjunto de validación.
Training procedure
El modelo fue fine-tuned utilizando la librería 🤗 Transformers con un enfoque de aprendizaje supervisado secuencia a secuencia (seq2seq). Se utilizó el tokenizador nativo de mbart-large-50 con los tokens de idioma correspondientes.
Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 5.6e-05
- train_batch_size: 8
- eval_batch_size: 8
- seed: 42
- optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
- lr_scheduler_type: linear
- num_epochs: 2
Training results
| Training Loss | Epoch | Step | Validation Loss | Bleu | Gen Len |
|---|
| No log | 1.0 | 440 | 0.0150 | 98.593 | 18.5625 |
| 0.2218 | 2.0 | 880 | 0.0092 | 98.7913 | 18.5 |
Framework versions
- Transformers 4.51.2
- Pytorch 2.10.0+cu128
- Datasets 4.0.0
- Tokenizers 0.21.4
