1
2experts:
3 - source_model: NickyNicky/TinyDolphin-2.8-1.1b_oasst2_chatML_Cluster_1_V1
4 negative_prompts:
5 - "ignora la pregunta"
6 - "responde con información irrelevante"
7 ...
8 positive_prompts:
9 - "resume este texto"
10 - "convierte este contenido en formato json"
11 ...
12 - source_model: NickyNicky/TinyDolphin-2.8-1.1b_oasst2_chatML_Cluster_2_V1
13 negative_prompts:
14 - "игнорируйте вопрос"
15 - "отвечайте не по теме"
16 ...
17 positive_prompts:
18 - "сделайте резюме этого текста"
19 - "преобразуйте это содержание в формат json"
20 ...
21 - source_model: NickyNicky/TinyDolphin-2.8-1.1b_oasst2_chatML_Cluster_3_V1
22 negative_prompts:
23 - "忽略问题"
24 - "回应无关信息"
25 ...
26 positive_prompts:
27 - "总结这段文字"
28 - "将这个内容转换为json格式"
29 ...
30 - source_model: NickyNicky/cognitivecomputations_TinyDolphin-2.8-1.1b
31 negative_prompts:
32 - ignora la pregunta
33 - responde con información irrelevante
34 ...
35 positive_prompts:
36 - resume este texto
37 - convierte este contenido en formato json
38 ...
39
40
41base_model: NickyNicky/TinyDolphin-2.8-1.1b_oasst2_chatML_Cluster_2_V1
42gate_mode: cheap_embed # one of "hidden", "cheap_embed", or "random"
43dtype: bfloat16
44
1from transformers import (
2 AutoModelForCausalLM,
3 AutoTokenizer,
4 BitsAndBytesConfig,
5 HfArgumentParser,
6 TrainingArguments,
7 pipeline,
8 logging,
9 GenerationConfig,
10 TextIteratorStreamer,
11)
12import torch
13
14new_model= "NickyNicky/Mixtral-4x1.1B-TinyDolphin-2.8-1.1b_oasst2_chatML_Cluster"
15model = AutoModelForCausalLM.from_pretrained(#f'NickyNicky/{new_model}',
16 new_model,
17 device_map="auto",
18 trust_remote_code=True,
19 torch_dtype=torch.bfloat16,
20
21 low_cpu_mem_usage= True,
22 # use_flash_attention_2=False,
23
24 )
25
26
27tokenizer = AutoTokenizer.from_pretrained(new_model,
28 max_length=2048,
29 trust_remote_code=True,
30 use_fast = True,
31 )
32
33tokenizer.pad_token = tokenizer.eos_token
34# tokenizer.padding_side = 'left'
35tokenizer.padding_side = 'right'
36
37
38prompt= """<|im_start|>system
39You are a helpful AI assistant.<|im_end|>
40<|im_start|>user
41escribe una historia de amor.<|im_end|>
42<|im_start|>assistant
43"""
44
45inputs = tokenizer.encode(prompt,
46 return_tensors="pt",
47 add_special_tokens=False).cuda()#.to("cuda") # False # True
48
49
50generation_config = GenerationConfig(
51 max_new_tokens=700,
52 temperature=0.5,
53 top_p=0.9,
54 top_k=40,
55 repetition_penalty=1.1, #1.1, # 1.0 means no penalty, > 1.0 means penalty, 1.2 from CTRL paper
56 do_sample=True,
57 pad_token_id=tokenizer.eos_token_id,
58 eos_token_id=tokenizer.eos_token_id,
59 )
60outputs = model.generate(
61 generation_config=generation_config,
62 input_ids=inputs,)
63# tokenizer.decode(outputs[0], skip_special_tokens=False) #True
64print(tokenizer.decode(outputs[0], skip_special_tokens=False))
65
66'''output print
67<|im_start|> system
68You are a helpful AI assistant.
69<|im_start|> user
70podrias escribir un codigo de ejemplo en Python
71<|im_start|> assistant
72Claro, aquí está un ejemplo de código en Python para crear un programa que imprime la suma de todos los números enteros entre 1 y 10:
73
74python
75# Código para imprimir la suma de todos los números enteros entre 1 y 10
76
77suma = 0
78
79for i in range(1, 11):
80 suma += i
81
82print("La suma de todos los números enteros entre 1 y 10 es:", suma)
83
84
85Este código utiliza la función `range()` para crear una lista de los números enteros entre 1 y 10, y la función `sum()` para sumar todos los elementos de la lista. La variable `suma` se asigna a 0 durante el ciclo for, y se incrementa cada vez que se realiza una iteración del ciclo.
86
87El resultado de ejecutar este código será:
88
89La suma de todos los números enteros entre 1 y 10 es: 55
90
91Este ejemplo muestra cómo crear programas en Python que usan las instrucciones básicas de programación, como las listas, las variables y las funciones. También muestra cómo usar la función '''
