You can deploy this model and start earning money today!

niuvaroza/
Llama-2-7b-chat-finetune-constitucion-venezuela

Name: Llama-2-7b-chat-finetune-constitucion-venezuela
Availability: InStock

Views

No views yet

🧠 Llama 2 7B Chat Fine-tuneado en la Constitución de Venezuela 🇻🇪

Este modelo es una versión fine-tuneada de meta-llama/Llama-2-7b-chat-hf, ajustado sobre el dataset niuvaroza/constitucion-venezuela-1000, que contiene 1000 instrucciones curadas relacionadas con el texto de la Constitución de la República Bolivariana de Venezuela.

🧾 Objetivo del modelo

Está diseñado para asistir en tareas educativas, explicativas y conversacionales sobre artículos constitucionales. Responde preguntas como si fuera un asistente legal educativo, sin reemplazar asesoría jurídica profesional.

⚙️ Detalles técnicos

Modelo base: meta-llama/Llama-2-7b-chat-hf
Método: QLoRA con PEFT (LoRA)
Tokenización: AutoTokenizer con padding lateral derecho
Batch size efectivo: 16 (batch 4 × grad. accum. 4)
Optimización: paged_adamw_8bit
Cuantización: 4-bit (nf4)
Entrenamiento en: Google Colab con GPU de 15GB
Epochs: 3
Formato de prompt:
<s>[INST] ¿Cuál es el principio de igualdad ante la ley? [/INST]

📚 Dataset utilizado

niuvaroza/constitucion-venezuela-1000
1000 ejemplos de tipo instruction, input, output
Curado manualmente por Niurka Oropeza

📌 Uso de ejemplo

python

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model = AutoModelForCausalLM.from_pretrained("niuvaroza/llama-2-7b-chat-finetune-constitucion-venezuela", device_map="auto", torch_dtype=torch.float16)
tokenizer = AutoTokenizer.from_pretrained("niuvaroza/llama-2-7b-chat-finetune-constitucion-venezuela")

prompt = "<s>[INST] ¿Cuáles son los derechos políticos según la Constitución venezolana? [/INST]"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=300)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

⚠️ Advertencia Legal

Este modelo es exclusivamente con fines educativos e informativos. No sustituye el criterio profesional de un abogado ni representa una fuente jurídica oficial. Consulta siempre con especialistas en derecho para decisiones legales.

👩‍💻 Desarrollado por

Autora y Fine-Tuning: Niurka Oropeza (2025)
Licencia: Apache 2.0

niuvaroza/Llama-2-7b-chat-finetune-constitucion-venezuela