Views
No views yet
1from transformers import AutoModelForCausalLM, AutoTokenizer
2from peft import PeftModel
3
4# Cargar el modelo base
5base_model = AutoModelForCausalLM.from_pretrained(
6 "mistralai/Mistral-7B-Instruct-v0.2",
7 device_map="auto",
8 trust_remote_code=True
9)
10
11# Cargar el adaptador LoRA
12model = PeftModel.from_pretrained(
13 base_model,
14 "tu-usuario/mistral-arenera-lora"
15)
16
17tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct-v0.2")
18
19# Ejemplo de uso
20input_text = "¿Cuál es el objetivo principal del proceso de explotación en la arenera Hato Viejo?"
21inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
22outputs = model.generate(**inputs, max_new_tokens=100)
23print(tokenizer.decode(outputs[0], skip_special_tokens=True))