Este modelo es una versión optimizada mediante fine-tuning sobre Llama-3.2-3B-Instruct. Está diseñado para actuar como un asistente experto en historia aeroespacial, tecnología espacial latinoamericana y contexto cultural hispanohablante.

Evolución del Proyecto

Esta versión sucede a qwen2-7b-aeroespacial-cultural-v2, utilizando una arquitectura más eficiente (Llama 3.2) que ofrece un equilibrio superior entre capacidad de razonamiento y consumo de recursos, ideal para despliegue en hardware de consumo.

Características Principales

Base Arquitectónica: Llama-3.2-3B-Instruct (optimizado con Unsloth).
Enfoque Cultural: Entrenamiento profundo en terminología, hitos y matices lingüísticos de América Latina y España.
Precisión Técnica: Foco en programas espaciales (CONAE, INTA, INPE, etc.), cohetería experimental y geopolítica científica.
Naturalidad: Entrenado con un dataset sintético de instrucciones en español que reduce la rigidez de las traducciones automáticas.
Eficiencia: Cuantización en 4-bit para un alto rendimiento manteniendo la coherencia narrativa.

Casos de Uso

Ideal para aplicaciones que requieran un asistente especializado en:

Divulgación científica: Explicación de misiones satelitales y conceptos aeroespaciales.
Sistemas QA (Preguntas y Respuestas): Interacción histórica basada en hitos tecnológicos.
Simulación Conversacional: Capacidad de responder adaptándose a variantes dialectales del español (Chile, Argentina, México, España, etc.).
Educación: Apoyo en la generación de contenido educativo sobre historia espacial regional.

Ejemplo de Uso (Python)

Para cargar el modelo de forma eficiente:

python

from unsloth import FastLanguageModel
import torch

# Carga el modelo optimizado
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "AngelGabrielTroncoso/Llama-3.2-3B_oss_lora", 
    max_seq_length = 2048,
    load_in_4bit = True,
)

# Ejecución de prompt
messages = [
    {"role": "system", "content": "Eres un historiador aeroespacial experto en Iberoamérica."},
    {"role": "user", "content": "¿Por qué el programa Cóndor II fue un hito geopolítico?"}
]

inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=250)
print(tokenizer.decode(outputs[0]))

Limitaciones y Recomendaciones

Veracidad: Aunque este modelo ha sido ajustado para mayor precisión, los LLMs pueden alucinar hechos históricos. Se recomienda implementar técnicas de RAG (Retrieval-Augmented Generation) si el modelo se utilizará para investigación académica formal.
Dominio: Su capacidad es excelente en contextos aeroespaciales y culturales hispanos; puede mostrar menor desempeño en dominios científicos no relacionados o razonamiento matemático complejo.

Entrenamiento y Optimización

Framework: Unsloth (entrenamiento 2x más rápido y con menor consumo de VRAM).
Técnica: QLoRA (Quantized Low-Rank Adaptation).
Hardware: Entrenado con hardware de consumo (optimizado para eficiencia).

Autor y Licencia

Desarrollado por: AngelGabrielTroncoso
Licencia: apache-2.0