Views
No views yet
https://huggingface.co/spaces/Fifthoply/AyudaAlan-0.1transformers, no necesitas GPU:pip install transformers torch1from transformers import AutoModelForCausalLM, AutoTokenizer
2import torch
3
4# 1. Cargar el modelo y el tokenizador
5model_id = "tu-usuario/tu-modelo" # Reemplaza con tu ID de Hugging Face
6tokenizer = AutoTokenizer.from_pretrained(model_id)
7model = AutoModelForCausalLM.from_pretrained(
8 model_id,
9 torch_dtype=torch.float16,
10 device_map="auto"
11)
12
13# 2. Preparar el mensaje (Formato ChatML)
14pregunta = "¿Cómo se escala una montaña?"
15prompt = f"<|im_start|>system\nEres un asistente breve.<|im_end|>\n<|im_start|>user\n{pregunta}<|im_end|>\n<|im_start|>assistant\n"
16
17# 3. Tokenizar y generar respuesta
18inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
19
20outputs = model.generate(
21 **inputs,
22 max_new_tokens=20,
23 pad_token_id=tokenizer.pad_token_id,
24 eos_token_id=tokenizer.eos_token_id
25)
26
27# 4. Ver el resultado
28respuesta = tokenizer.decode(outputs[0], skip_special_tokens=True)
29print(respuesta.split("assistant")[-1].strip())