You can deploy this model and start earning money today!

unileon-robotics/
Trasgu-0.5B-GGUF

Name: Trasgu-0.5B-GGUF
Availability: InStock

quantized

unsloth/Qwen2.5-0.5B

conversational

unileon-robotics/lliones-dict-tr

Views

No views yet

Trasgu-0.5B-GGUF — llionés (Qwen2.5 + Unsloth, GGUF F16 / Q5_K_M)

Trasgu Logo

Finetuning de Qwen2.5-0.5B con Unsloth en Google Colab, entrenado y evaluado con el dataset
unileon-robotics/lliones-dict-tr (pares input→output).
Este repositorio publica artefactos GGUF en dos variantes: F16 y Q5_K_M (compatibles con llama.cpp y derivados).
La versión Transformers/PyTorch (FP16) está en Trasgu-0.5B.

Descripción

Trasgu-0.5B-GGUF distribuye el modelo conversacional en llionés (leonés) en formato GGUF.
El modelo fue finetuned de forma supervisada sobre pares input→output de lliones-dict-tr.
Este repo -GGUF incluye dos artefactos: F16 (máxima fidelidad) y Q5_K_M (cuantizado y más ligero).

Archivos de utilidad

Banner: Utils/Banner-Trasgu.PNG
Logo: Utils/Logo-Trasgu.png
Training notebook: Utils/Training_Notebook.ipynb
Testing notebook (evaluación): Utils/Testing_Notebook.ipynb
Configuración de entrenamiento (hiperparámetros y chat template): Utils/config_entrenamiento.json

Dataset

Principal (entrenamiento/evaluación): unileon-robotics/lliones-dict-tr — dataset estructurado de pares input–output (traducciones, vocabulario, significados llionés↔español).
Cada ejemplo se formatea como turno de chat con la chat template de Qwen 2.5 (instrucción → respuesta) antes del finetuning.
Corpus adicional (no usado en el finetuning): unileon-robotics/lliones-corpus — texto no estructurado en llionés. No se utilizó aquí por no aportar señal supervisada como lliones-dict-tr, pero queda disponible para quien lo necesite.

Metodología de evaluación

Para cada ejemplo del dataset (N = 3000):

Se consulta el modelo con la entrada (instrucción/pregunta).
Se compara la salida con la respuesta de referencia mediante dos medidas (0–100):

Fuzzy (mean_fuzzy): fuzzy ratio (coincidencia textual aproximada).
Semantic (mean_semantic): cosine similarity de embeddings con
sentence-transformers/all-MiniLM-L6-v2.

Puntuación final por ejemplo: score_ejemplo = max(fuzzy, semantic)
Agregados: mean_fuzzy, mean_semantic y mean_similarity (media de score_ejemplo, métrica final).

Resultados (todas las variantes · 3.000 ejemplos)

Este repositorio corresponde a: Trasgu-0.5B (Q5_K_M) y también contiene el artefacto F16 en GGUF.
En la tabla: (F16) enlaza al repo PyTorch y (Q5_K_M) al repo -GGUF.

Modelo / Cuantización	Repositorio	mean_similarity (final)	mean_fuzzy	mean_semantic
Trasgu-0.5B (F16)	Trasgu-0.5B	77.01	55.21	76.86
Trasgu-0.5B (Q5_K_M)	Trasgu-0.5B-GGUF	77.10	55.16	76.94
Trasgu-1.5B (F16)	Trasgu-1.5B	79.50	58.48	79.39
Trasgu-1.5B (Q5_K_M)	Trasgu-1.5B-GGUF	79.51	58.51	79.37
Trasgu-3B (F16)	Trasgu-3B	83.26	64.86	83.15
Trasgu-3B (Q5_K_M)	Trasgu-3B-GGUF	82.93	64.04	82.84

Entrenamiento (resumen)

Base model: unsloth/Qwen2.5-0.5B · Framework: Unsloth (LoRA) en Google Colab
Épocas: 3 · max_seq_length: 4096
Optimización: paged_adamw_8bit · learning_rate: 2e-4 · lr_scheduler: linear · warmup_ratio: 0.1 · weight_decay: 0.01
Precisión: FP16
LoRA: r=128, α=256, dropout=0.1, bias=none; target_modules = q_proj,k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj,embed_tokens,lm_head
Gradient checkpointing: unsloth
Quantization (publicada aquí): F16 y Q5_K_M en formato GGUF
Chat template: Qwen 2.5; campos: input, output → text (+ append_eos_token=true)
Config detallada: Utils/config_entrenamiento.json

Notas

Dominio: métricas en la distribución de lliones-dict-tr; fuera de ella, el rendimiento puede variar.
Formato: este repo -GGUF incluye F16 y Q5_K_M; la versión PyTorch (FP16) está en Trasgu-0.5B.

unileon-robotics/Trasgu-0.5B-GGUF