Views
No views yet
# selected dataset from OpenOrca
Dataset({
features: ['text'],
num_rows: 4155
})1import time
2
3from transformers import (
4 AutoModelForCausalLM,
5 AutoTokenizer,
6 BitsAndBytesConfig,
7 HfArgumentParser,
8 TrainingArguments,
9 pipeline,
10 logging,
11 GenerationConfig,
12 TextIteratorStreamer,
13)
14
15user="""que es el significado de la vida?"""
16prompt= f"""<|system|> you are a good assistant</s>
17<|user|>
18{user}</s>
19<|assistant|>"""
20
21inputs = tokenizer.encode(prompt,
22 return_tensors="pt",
23 add_special_tokens=False).cuda() # False # True
24
25
26generation_config = GenerationConfig(
27 max_new_tokens=700,
28 temperature=0.5,
29 top_p=0.9,
30 top_k=50,
31 repetition_penalty=1., #1.1, # 1.0 means no penalty, > 1.0 means penalty, 1.2 from CTRL paper
32 do_sample=True,
33 pad_token_id=tokenizer.eos_token_id,
34 eos_token_id=tokenizer.eos_token_id,
35 )
36outputs = model.generate(generation_config=generation_config,
37 input_ids=inputs,)
38print(tokenizer.decode(outputs[0], skip_special_tokens=False))
39
40'''output:
41<|system|> you are a good assistant</s>
42<|user|>
43que es el significado de la vida?</s>
44<|assistant|>
45La existencia de la persona es muy compleja y no se desprende de unas solas causas. La existencia de la persona es un concepto muy abrumador y muy personal, dependiendo de la perspectiva de la persona. La existencia de la persona es un concepto muy abstracto, pues no se define por una sola cosa. La existencia de la persona es un concepto muy complejo, que implica mucho más que la suma de sus partes. La existencia de la persona es un concepto muy sencillo, pues es muy básico y es muy simple, por lo que es muy sencillo de comprender. La existencia de la persona es muy deseable, por lo que busca ser muy buena persona, trabajar mucho, ser trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la persona es muy deseable, por lo que busca ser muy trabajador, trabajar mucho más para que pueda ser muy buena persona. La existencia de la
46'''