You can deploy this model and start earning money today!

Mogi22210/
Corpus_spanish_palenquero

Name: Corpus_spanish_palenquero
Availability: InStock

safetensors

Views

No views yet

Proyecto de Grado – Traducción Automática con MarianMT

Este repositorio contiene el desarrollo de un sistema de traducción automática basado en MarianMT, entrenado con un corpus propio y evaluado mediante métricas estándar de desempeño.

El objetivo del proyecto es demostrar un pipeline completo y reproducible de entrenamiento, validación y evaluación de un modelo de traducción automática neuronal.

Estructura del repositorio

├── Crecer_dataset/ │ └── Datos crudos y preprocesados ├── fineTuning/ │ ├── train.py │ └── eval.py ├── mt_finetuned/ │ └── Modelo entrenado ├── mt_eval/ │ ├── test_split.csv │ └── metrics.json ├── corpus_base.csv ├── corpus_bt.csv └── README.md

Crecer_dataset/: Contiene los datos originales y preprocesados.
fineTuning/: Scripts de entrenamiento y evaluación.
mt_finetuned/: Modelo MarianMT entrenado y guardado.
mt_eval/: Resultados de evaluación y métricas.
corpus_base.csv / corpus_bt.csv: Corpus utilizados para entrenamiento y pruebas.

Pipeline de entrenamiento y pruebas

El flujo completo del sistema es el siguiente:

Datos → train.py → modelo entrenado → eval.py → métricas → mt_eval/

Fases del pipeline

Preprocesamiento de datos
Los datos se limpian, estructuran y organizan en la carpeta Crecer_dataset/.
Entrenamiento del modelo
El script train.py realiza el fine-tuning del modelo MarianMT usando el corpus de entrenamiento y guarda el modelo resultante en mt_finetuned/.
Evaluación con conjunto de prueba
El script eval.py carga el modelo entrenado, evalúa su desempeño sobre el conjunto test_split.csv y calcula métricas cuantitativas.
Almacenamiento de resultados
Las métricas generadas se guardan en el archivo mt_eval/metrics.json, permitiendo trazabilidad y reproducibilidad.

Cómo ejecutar el proyecto

Entrenamiento del modelo

bash

python fineTuning/train.py
Evaluación del modelo
python fineTuning/eval.py
Archivos generados
mt_eval/test_split.csv → Conjunto de datos usado para pruebas.
mt_eval/metrics.json → Métricas de desempeño del modelo (BLEU, accuracy, entre otras).

 Resultados

Las métricas de evaluación se generan automáticamente durante la fase de pruebas y se almacenan en mt_eval/metrics.json.

Ejemplo de contenido del archivo:

{
  "BLEU": 32.5,
  "Accuracy": 0.87
}

Estos resultados corresponden a una evaluación independiente del proceso de entrenamiento, cumpliendo con los criterios académicos de validación experimental.

Mogi22210/Corpus_spanish_palenquero