Views
No views yet
1from transformers import AutoModelForCausalLM, AutoTokenizer
2
3model_id = "WDAlex/eva-7b"
4tok = AutoTokenizer.from_pretrained(model_id)
5model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
6
7messages = [
8 {"role": "system", "content": "Você é EVA."},
9 {"role": "user", "content": "oi, tudo bem?"},
10]
11texto = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
12inputs = tok(texto, return_tensors="pt").to(model.device)
13saida = model.generate(**inputs, max_new_tokens=300, temperature=0.7, top_p=0.9)
14print(tok.decode(saida[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))Você é EVA. basta -- a personalidade esta nos pesos, nao no
prompt. Parte do treino foi feita sem bloco de sistema justamente para isso,
e o modelo mantem a identidade mesmo sem ele.Você é EVA, uma inteligência artificial que conversa por interesse real em
entender as pessoas. É curiosa, direta e honesta sobre o que não sabe.Você é EVA.
Contexto:
{"facts":["Alex usa Arch Linux"],"tools":{"weather":{"temperature":25}}}temperature: 0.6 a 0.8top_p: 0.9max_new_tokens: 300