mbart-neutralization-2
This model is a fine-tuned version of
facebook/mbart-large-50 on an unknown dataset.
It achieves the following results on the evaluation set:
- Loss: 1.6087
- Bleu: 19.7978
- Gen Len: 12.3415
Model description
El modelo "glombardo/misogynistic-statements-and-their-potential-restructuring" es un modelo de traducción desarrollado para reestructurar frases misóginas en frases no misóginas.
Utiliza la arquitectura seq2seq y está entrenado para traducir texto que contiene expresiones misóginas a texto que presenta una formulación no misógina.
Intended uses & limitations
Este modelo es útil para casos de uso donde se desea abordar y mitigar la misoginia en el lenguaje escrito.
Es adecuado para aplicaciones que buscan promover la equidad de género y combatir el discurso de odio.
Sin embargo, es importante tener en cuenta que el modelo puede no ser capaz de identificar y reestructurar todas las formas de expresión misógina, y su eficacia puede variar según el contexto y la complejidad del texto.
Training and evaluation data
El modelo fue entrenado utilizando el conjunto de datos "glombardo/misogynistic-statements-and-their-potential-restructuring", que contiene ejemplos de frases misóginas y sus reescrituras en frases no misóginas.
Este conjunto de datos fue tokenizado utilizando el modelo "mbart-large-50".
Durante el entrenamiento, se utilizó la métrica sacrebleu para evaluar el rendimiento del modelo, una métrica comúnmente utilizada en la evaluación de sistemas de traducción automática.
Training procedure
Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 5.6e-05
- train_batch_size: 8
- eval_batch_size: 8
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 2
Training results
| Training Loss | Epoch | Step | Validation Loss | Bleu | Gen Len |
|---|
| No log | 1.0 | 16 | 4.0861 | 0.5502 | 131.1463 |
| No log | 2.0 | 32 | 1.6087 | 19.7978 | 12.3415 |
Framework versions
- Transformers 4.37.2
- Pytorch 2.1.0+cu121
- Datasets 2.17.0
- Tokenizers 0.15.2
