jairo/Llama-3.1-70B-LatamGPT-SFT-1.0-GGUF
Este repositorio publica versiones GGUF de
latam-gpt/Llama-3.1-70B-LatamGPT-SFT-1.0 para ejecutar LatamGPT con
llama.cpp y otros entornos compatibles con GGUF.
No es un fine-tuning nuevo ni una versión reentrenada del modelo. Es una conversión cuantizada del checkpoint SFT de LatamGPT, que a su vez deriva de meta-llama/Llama-3.1-70B.
resumen
El objetivo de este repositorio es simple: publicar LatamGPT en formato GGUF para facilitar pruebas locales o en servidores propios.
El modelo original es parte de
LatamGPT, una iniciativa latinoamericana coordinada por CENIA. El crédito por el modelo, el trabajo de datos y la dirección del proyecto corresponde a LatamGPT y sus colaboradores. Este repositorio solo publica los archivos GGUF, junto con sumas de verificación y metadatos básicos para que la publicación sea revisable sin convertir el repositorio en un volcado de build.
Ya se hizo una validación básica de carga y generación. Todavía no hay evaluaciones de calidad ni benchmarks publicados, así que esta publicación no sostiene que una cuantización sea mejor que otra. Las evaluaciones están pendientes.
qué archivo descargar
Como punto de partida general, usa latamgpt-Q4_K_M.gguf.
| Caso | Archivo recomendado | Comentario |
|---|
| Busco una buena relación entre tamaño y calidad | latamgpt-Q4_K_M.gguf | Es el punto de partida recomendado. |
| Priorizo calidad y tengo más RAM o VRAM disponible | latamgpt-Q5_K_M.gguf, latamgpt-Q6_K.gguf o latamgpt-Q8_0.gguf | Son archivos bastante más grandes. |
| Tengo memoria limitada | latamgpt-IQ4_XS.gguf, latamgpt-Q3_K_M.gguf o latamgpt-IQ3_M.gguf | Evalúalos con tus propios casos antes de usarlos en un flujo relevante. |
| Necesito que quepa en memoria muy limitada | latamgpt-IQ2_M.gguf | Es una cuantización muy agresiva. No se recomienda para producción sin una evaluación propia. |
descarga rápida
1hf download jairo/Llama-3.1-70B-LatamGPT-SFT-1.0-GGUF \
2 latamgpt-Q4_K_M.gguf \
3 --local-dir .
ejemplo con llama.cpp
1llama-cli \
2 -m latamgpt-Q4_K_M.gguf \
3 --ctx-size 4096 \
4 --jinja \
5 --single-turn \
6 -p "Responde en español: qué es LatamGPT?"
archivos
| Archivo | Quant | Tamaño | SHA256 |
|---|
latamgpt-Q8_0.gguf | Q8_0 | 69.83 GiB | 216cf4c2de09545e7f69972dd8944af701f7d94024edc47322eaf5d68fb96a70 |
latamgpt-Q6_K.gguf | Q6_K | 53.91 GiB | 6ee4d4f3a767e2066ad487c57f2d55adf755243970a9251c1b76d0d3992ff500 |
latamgpt-Q5_K_M.gguf | Q5_K_M | 46.52 GiB | c91b3ba6c06e3724237474624dd7068429d40f228adea1bfe453670c902f56f9 |
latamgpt-Q5_K_S.gguf | Q5_K_S | 45.32 GiB | 6812049985ce484c2fad62c24bf340aa6c79122c374b45e80677913c4eb30dea |
latamgpt-Q4_K_M.gguf | Q4_K_M | 39.60 GiB | 777f4082f99ac4b48d5c31412d1582384ce53a929024990cd82d8a7dcb82efd1 |
latamgpt-Q4_K_S.gguf | Q4_K_S | 37.58 GiB | bf65fb7b42a6bce5f41653b54674c25333069f72c6c9327cddabbc5bf1b9e4ea |
latamgpt-IQ4_XS.gguf | IQ4_XS | 35.30 GiB | 71b3c099944ed26be39d0aa6714f67a0c5a8b60171318bd5993a9b4ff0108a81 |
latamgpt-IQ4_NL.gguf | IQ4_NL | 37.30 GiB | 475f2865e64eda84bdfecb00ce84c513d14680c1222824653c71e9d0ed0ec6c8 |
latamgpt-Q3_K_M.gguf | Q3_K_M | 31.91 GiB | dbc69c8b11f35c0db91e66e978ee7ff5d37868b96e16510e9e1b6e63b7f5ca85 |
latamgpt-IQ3_M.gguf | IQ3_M | 29.74 GiB | f8ac0ce926d2fbf801f066d72bc46ad178a6ad07e45ee18b16172a206479deac |
latamgpt-IQ2_M.gguf | IQ2_M | 22.46 GiB | 26478308b329981b47145fd31461fd00d280434696df40430abdf921da9368b1 |
validación básica
Por ahora se hizo una validación básica para comprobar que algunos archivos cargan, generan texto y terminan sin errores. No son benchmarks.
Esto no mide razonamiento, factualidad, seguridad, sesgos ni rendimiento por tarea. Las evaluaciones de calidad, perplejidad, InspectAI y comparaciones con otros modelos están pendientes.
| Archivo / prueba | Estado | Qué significa |
|---|
Q4_K_M con prompt en español | OK | Carga y genera texto con llama-cli --jinja --single-turn. |
IQ3_M con prompt en portugués | OK | Carga y genera texto. |
IQ2_M con prueba de finalización | OK | Carga y termina correctamente, pero la calidad puede degradarse de forma significativa. |
Q8_0 con prompt en inglés | OK | Carga y genera texto. |
| Perplejidad | Pendiente | Está pendiente de ejecución. |
| InspectAI y comparaciones más completas | Pendiente | Todavía no hay resultados comparativos publicados. |
El resumen está en metadata/latamgpt-smoke-summary.tsv.
límites
- La cuantización puede cambiar el comportamiento del modelo. Cuanto más pequeño sea el archivo, más probable es que pierda calidad.
IQ2_M existe para casos de memoria muy limitada. Puede repetir contenido, fallar con más frecuencia o producir respuestas de menor calidad.- Estas pruebas no miden factualidad, sesgos, seguridad, razonamiento ni calidad por tarea.
- Antes de usarlo en producción, evalúalo con tus propios datos y casos de uso.
- No debe usarse como única base para tomar decisiones en salud, finanzas, justicia, seguridad pública, educación, empleo u otros contextos sensibles.
- Este repositorio no incluye filtros de seguridad, monitoreo, RAG ni controles adicionales propios de una aplicación.
para qué sirve
- Probar LatamGPT localmente con GGUF.
- Crear prototipos o demostraciones con
llama.cpp y herramientas compatibles.
- Comparar cuantizaciones con tus propios prompts.
- Revisar o reproducir el proceso de conversión y cuantización.
usos no recomendados sin trabajo adicional
- Como reemplazo de evaluaciones rigurosas.
- Como sistema listo para producción sin controles adicionales.
- Como evidencia de que LatamGPT supera a otros modelos. Esas evaluaciones están pendientes.
datos de calibración
Estos datos se usaron únicamente para generar la matriz de importancia de la cuantización. No son datos de evaluación y, por sí solos, no permiten inferir la calidad final del modelo.
| Fuente | Registros |
|---|
CohereForAI/aya_dataset | 600 |
FreedomIntelligence/alpaca-gpt4-spanish | 200 |
HuggingFaceH4/ultrachat_200k | 200 |
| Idioma | Registros |
|---|
spa | 400 |
por | 200 |
eng | 400 |
Total de registros de calibración: 1000.
Total de caracteres de calibración: 1750246.
fuentes
agradecimientos
El modelo original, la dirección del proyecto, el trabajo de datos y la colaboración regional son de LatamGPT y sus colaboradores.
LatamGPT es coordinado por
CENIA. Según las preguntas frecuentes oficiales, el proyecto involucra a casi 200 profesionales y más de 65 instituciones de 15 países. Este repositorio no busca reemplazar el trabajo original ni presentarlo como propio. Solo publica una versión GGUF no oficial para facilitar pruebas con herramientas compatibles.
También se basa en:
- El checkpoint original de LatamGPT.
- Meta Llama 3.1 y sus términos de licencia.
llama.cpp y el ecosistema GGUF.- Los conjuntos de datos públicos usados para calibración, listados arriba y en
metadata/latamgpt_calibration_manifest.json.
notas técnicas
- El checkpoint original tenía
config.vocab_size=128256, longitud del tokenizer 128257 e ID del token PAD 128256.
- La versión publicada usa
vocab_size=128257 y una fila adicional de ceros en model.embed_tokens.weight y lm_head.weight para que el tokenizer, la configuración y los tensores queden alineados.
- La configuración fuente genera una advertencia de RoPE en Transformers porque
original_max_position_embeddings es igual a max_position_embeddings en 4096.
- El conversor GGUF informó sobre un token separador desconocido
<|begin_of_text|> en TemplateProcessing<pair>.
licencia
El modelo fuente está marcado como license:llama3.1. Aplican los términos y restricciones de uso de Llama 3.1.
Esta publicación solo redistribuye derivados cuantizados en formato GGUF del checkpoint de LatamGPT. No cambia la licencia del modelo fuente, los requisitos de atribución ni las obligaciones asociadas a LatamGPT o a Llama 3.1.
Consulta también:
