Modelo de resumen automático de textos en español fine-tuneado a partir de LeoCordoba/beto2beto-mlsum, utilizando LoRA con la librería PEFT.

🧠 Descripción del modelo

Este modelo genera resúmenes en español a partir de textos largos, usando una arquitectura Encoder-Decoder basada en BETO (BERT español adaptado a tareas de resumen).
Fue ajustado con un adaptador LoRA (Low-Rank Adaptation) para reducir el costo computacional y acelerar el entrenamiento sin sacrificar desempeño.

Autores: Christopher Aponte y David Navarro
Lenguaje: Español
Tarea: Resumen de texto (summarization)
Modelo base: LeoCordoba/beto2beto-mlsum
Framework: 🤗 Transformers + PEFT
Dataset: csebuetnlp/xlsum (configuración: spanish)

🚀 Ejemplo de uso

python

from transformers import pipeline

# Carga del pipeline de resumen
resumidor = pipeline("summarization", model="SenaSoft/chdv-summarization")

texto = """
El aprendizaje automático es una rama fundamental de la inteligencia artificial que se centra en el desarrollo de algoritmos y modelos capaces de aprender a partir de datos. En lugar de seguir instrucciones programadas de forma explícita, estas máquinas identifican patrones, relaciones y tendencias dentro de grandes volúmenes de información, lo que les permite mejorar su rendimiento y tomar decisiones cada vez más precisas con el tiempo.

Esta disciplina se aplica en una amplia variedad de campos. En la visión por computadora, por ejemplo, permite que los sistemas reconozcan rostros, objetos y escenas dentro de imágenes o videos. En el procesamiento de lenguaje natural, posibilita que las máquinas comprendan y generen texto o voz de manera coherente, facilitando herramientas como traductores automáticos, chatbots o asistentes virtuales. También se utiliza en la predicción de comportamientos, donde modelos entrenados con datos históricos pueden anticipar compras de usuarios, detectar fraudes financieros o incluso prever fallas en sistemas industriales.

El impacto del aprendizaje automático es tan amplio que se ha convertido en una de las tecnologías más influyentes del siglo XXI, impulsando la automatización, la personalización de servicios y el análisis inteligente de datos en prácticamente todos los sectores.
"""

# Generar resumen
resumen = resumidor(texto, max_length=100, min_length=30, do_sample=False)
print(resumen[0]["summary_text"])

Tiempo de respuesta aproximado: 1.1 segundos en GPU T4.

⚙️ Detalles de entrenamiento

Modelo base: LeoCordoba/beto2beto-mlsum
Adaptación: LoRA (r=8, alpha=16, dropout=0.3, módulos: query, key, value)
Dataset: 10 000 ejemplos del split train de XLSum (spanish)
Épocas: 3
Batch size: 16
Learning rate: 5e-5
Framework: Transformers + PEFT
Entrenamiento: Seq2SeqTrainer
Duración total: 6 h 34 min

📊 Resultados del entrenamiento

Step	Training Loss	Validation Loss
100	5.77	1.17
500	0.98	0.85
1000	0.92	0.83
1500	0.93	0.83
1800	0.93	0.82

El modelo converge de manera estable, con un Validation Loss final ≈ 0.82, mostrando buena generalización y sin signos de sobreajuste.

🧩 Limitaciones

Puede generar resúmenes demasiado breves en textos con múltiples párrafos.
No está diseñado para otros idiomas distintos al español.
No debe usarse para generar conclusiones analíticas o críticas.

📘 Licencia

El modelo base y este fine-tune se comparten bajo la misma licencia abierta de Hugging Face.

Autores: Christopher Aponte y David Navarro
Repositorio: SenaSoft/chdv-summarization