El modelo funciona para responder preguntas relacionadas al ámbito civil del estado de Oaxaca, México. Forma parte de un proyecto relacionado a un chatbot legal especializado en el ámbito civil mexicano. De parte de mi trabajo de tesis para obtener el grado de Maestro en Inteligencia Artificial (Universidad Tecnológica de la Mixteca, Huajuapan de León, Oaxaca, México).
Model Details
Training Data
El modelo fue entrenado con un dataset curado del Código Civil del Estado de Oaxaca. El dataset original (pregunta simple -> texto del artículo) fue enriquecido significativamente mediante generación sintética para crear un conjunto de datos más robusto, incluyendo:
Preguntas Conceptuales y de Razonamiento.
Solicitudes de Resumen y Explicaciones Simples.
Variaciones Coloquiales de las preguntas.
Ejemplos Negativos para enseñar al modelo sus límites.
Training Hyperparameters
-
Framework: Unsloth
-
Técnica: Supervised Fine-Tuning (SFT) con PEFT/LoRA
-
lora_r: 16
-
lora_alpha: 16
-
lora_dropout: 0
-
target_modules: ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"]
-
learning_rate: 2e-5 (recomendado)
-
num_train_epochs: 3 (recomendado)
-
per_device_train_batch_size: 2
-
gradient_accumulation_steps: 4
-
optimizer: adamw_8bit
Speeds, Sizes, Times
Tiempo de entrenamiento aproximado: ~3.5 horas.
Environmental Impact
-
Hardware Type: 1x NVIDIA GeForce RTX 4060 Laptop GPU
-
Hours used: 3.5
-
Cloud Provider: Local Machine
-
Compute Region: Huajuapan de León, Oaxaca, México.
-
Carbon Emitted: Aproximadamente 161 g de CO2eq, estimado con una potencia de 115W y un factor de emisión de 400 gCO2eq/kWh.
Technical Specifications
Model Architecture and Objective
El modelo base es un transformador de solo decodificador (decoder-only transformer) de la familia Llama 3.1. El objetivo del fine-tuning fue especializarlo en el dominio del Código Civil de Oaxaca mediante SFT con adaptadores LoRA.
Compute Infrastructure
Hardware
- GPU: NVIDIA GeForce RTX 4060 Laptop GPU (8GB VRAM)
Software
-
unsloth
-
torch==2.7.1
-
transformers==4.53.2
-
peft==0.16.0
-
trl
Citation
APA:
Rivera, B. (2025). Oaxaca Civil Code Llama 3.1 8B (Version 1.0) [Model]. Hugging Face.
Model Card Authors
Bogdan Rivera
Model Card Contact
