qwen2-7b-aeroespacial-cultural-v2
Descripción del Modelo
qwen2-7b-aeroespacial-cultural-v2 es un modelo fine-tuned basado en Qwen2.5-7B-Instruct, orientado a generación de texto, conversación e instruction tuning en español, con enfoque en historia aeroespacial, programas espaciales latinoamericanos, geopolítica tecnológica y patrimonio científico de América Latina y España.
El modelo fue ajustado utilizando un dataset sintético diseñado para mejorar:
- Naturalidad conversacional
- Precisión histórica
- Fluidez cultural hispanohablante
- Diversidad dialectal
- Respuestas técnicamente coherentes
- Comprensión contextual regional
A diferencia de muchos modelos entrenados principalmente en inglés o mediante traducciones automáticas, este modelo prioriza interacción auténtica en español.
Características Principales
- Fine-tuned para conversación en español
- Optimizado para instruction tuning
- Enfoque en historia aeroespacial y tecnológica
- Mejor alineación cultural para LATAM y España
- Capacidad conversacional natural
- Reducción de respuestas robóticas típicas de LLMs
- Compatibilidad con Transformers, vLLM y Text Generation Inference
- Optimizado utilizando Unsloth
Casos de Uso
Este modelo está orientado a:
- Chatbots educativos
- Asistentes históricos
- Sistemas QA en español
- Fine-tuning adicional
- Investigación histórica conversacional
- Generación de contenido educativo
- Aplicaciones RAG
- Simulación conversacional naturalista
Ejemplos de dominios:
- Historia espacial latinoamericana
- Satélites y misiones espaciales
- Guerra Fría y tecnología aeroespacial
- ESA, INTA, CONAE, INPE y programas regionales
- Cohetería experimental
- Geopolítica científica
Modelo Base
- Modelo Base:
unsloth/Qwen2.5-7B-Instruct-bnb-4bit
- Arquitectura: Qwen2.5
- Framework: Transformers + TRL
- Optimización: Unsloth
Nota: el modelo base utilizado durante el entrenamiento se encuentra cuantizado en 4-bit mediante bitsandbytes.
Dataset Utilizado
El modelo fue entrenado utilizando un dataset sintético de instrucciones en español orientado a:
- Historia aeroespacial
- Preguntas humanas naturales
- Variaciones dialectales hispanohablantes
- Conversaciones culturalmente alineadas
- Respuestas técnicas contextualizadas
Estructura del dataset:
1{
2 "instruction": "¿Qué pasó con el FASat-Alfa?",
3 "context": "Misión satelital chilena lanzada en 1995...",
4 "response": "El FASat-Alfa fue el primer satélite chileno..."
5}
Diversidad Lingüística
El entrenamiento incorpora variaciones reales del español:
| Región | Ejemplo |
|---|
| Chile | "¿Cachai por qué falló el FASat?" |
| Argentina | "¿Qué tan avanzado era el Cóndor II?" |
| México | "¿Neta México fue pionero espacial?" |
| España | "¿Cómo evolucionó el INTA durante la Guerra Fría?" |
El objetivo fue mejorar:
- Fluidez conversacional
- Comprensión regional
- Naturalidad lingüística
- Robustez ante distintos registros
Formato Recomendado de Prompt
El modelo fue entrenado utilizando formato conversacional tipo chat.
Ejemplo:
1from transformers import pipeline
2
3pipe = pipeline(
4 "text-generation",
5 model="AngelGabrielTroncoso/qwen2-7b-aeroespacial-cultural-v2"
6)
7
8messages = [
9 {
10 "role": "system",
11 "content": "Eres un historiador aeroespacial especializado en América Latina."
12 },
13 {
14 "role": "user",
15 "content": "¿Por qué fue importante el programa Cóndor II?"
16 }
17]
18
19response = pipe(messages)
20print(response)
Ejemplo de Uso con Transformers
1from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
2import torch
3
4model_id = "AngelGabrielTroncoso/qwen2-7b-aeroespacial-cultural-v2"
5
6# 1. Definir la configuración de cuantización
7quantization_config = BitsAndBytesConfig(
8 load_in_4bit=True,
9 bnb_4bit_compute_dtype=torch.float16,
10 bnb_4bit_quant_type="nf4"
11)
12
13# 2. Cargar el tokenizador
14tokenizer = AutoTokenizer.from_pretrained(model_id)
15
16# 3. Cargar el modelo pasando la configuración
17model = AutoModelForCausalLM.from_pretrained(
18 model_id,
19 device_map="auto",
20 quantization_config=quantization_config
21)
22
23print("¡Modelo cargado exitosamente!")
Rendimiento Esperado
El modelo presenta mejor desempeño en:
- Conversación en español
- QA histórico
- Generación educativa
- Reformulación natural
- Explicaciones técnicas accesibles
- Contextualización geopolítica
- Preguntas culturalmente contextualizadas
Puede mostrar menor precisión en:
- Matemática avanzada
- Programación compleja
- Eventos posteriores a la fecha de entrenamiento
- Dominios científicos no aeroespaciales
Limitaciones
- No reemplaza fuentes históricas primarias.
- Algunas respuestas priorizan claridad sobre profundidad académica extrema.
- Puede simplificar eventos geopolíticos complejos.
- El comportamiento depende de la calidad del prompt.
- Como cualquier LLM, puede generar errores factuales ocasionales.
Entrenamiento
El modelo fue fine-tuned utilizando:
- TRL de Hugging Face
- LoRA / QLoRA
- Unsloth para optimización eficiente
- Instruction tuning supervisado
Entrenado utilizando técnicas de eficiencia de memoria orientadas a hardware de consumo.
Autor
- Desarrollado por: AngelGabrielTroncoso
Licencia
Este modelo se distribuye bajo licencia Apache-2.0.
Agradecimientos
Este proyecto busca mejorar la representación del patrimonio aeroespacial latinoamericano e hispanohablante dentro del ecosistema open-source de inteligencia artificial.
Entrenado utilizando:
- Qwen2.5
- Unsloth
- Transformers
- TRL
- Hugging Face Ecosystem
Unsloth
Este modelo fue entrenado utilizando Unsloth para acelerar el fine-tuning y reducir el consumo de memoria.
