Views
No views yet
reference data model:
datasets:
- lang: "bg,ca,cs,da,de,en,es,fr,hr,hu,it,nl,pl,pt,ro,ru,sl,sr,sv,uk"
link: https://huggingface.co/datasets/NickyNicky/oasst2_clusters
model:
- google/gemma-2b-it
Link:
https://huggingface.co/google/gemma-2b-it
base fine tune: google/gemma-2b-it
Epoch: 3
future experts: 8
Eval model:
- link:
soon
1!python -m pip install --upgrade pip
2!pip install "torch>=2.1.1" -U
3!pip install torchaudio==2.2.0
4!pip install -q datasets trl peft bitsandbytes sentencepiece wandb
5!pip install -q accelerate safetensors deepspeed
6!pip install -q scipy ninja -U
7!pip install -q -U transformers==4.38.0
8!pip install flash-attn==2.5.5 --no-build-isolation1import torch
2torch.__version__
3#OUTPUTS: ('2.2.0+cu121' )1
2from transformers import (
3 AutoModelForCausalLM,
4 AutoTokenizer,
5 BitsAndBytesConfig,
6 HfArgumentParser,
7 TrainingArguments,
8 pipeline,
9 logging,
10 GenerationConfig,
11 TextIteratorStreamer,
12)
13
14from transformers import StoppingCriteria, StoppingCriteriaList
15
16import torch
17
18model_id='NickyNicky/gemma-2b-it_oasst2_all_chatML_V1'
19
20model = AutoModelForCausalLM.from_pretrained(model_id,
21 device_map="auto",
22 trust_remote_code=True,
23 torch_dtype=torch.bfloat16,
24 attn_implementation="flash_attention_2",
25 # load_in_4bit=True,
26 # low_cpu_mem_usage= True,
27
28 )
29
30max_length=2048
31print("max_length",max_length)
32
33
34tokenizer = AutoTokenizer.from_pretrained(model_id,
35 # use_fast = False,
36 max_length=max_length,)
37
38
39class ListOfTokensStoppingCriteria(StoppingCriteria):
40 """
41 Clase para definir un criterio de parada basado en una lista de tokens específicos.
42 """
43 def __init__(self, tokenizer, stop_tokens):
44 self.tokenizer = tokenizer
45 # Codifica cada token de parada y guarda sus IDs en una lista
46 self.stop_token_ids_list = [tokenizer.encode(stop_token, add_special_tokens=False) for stop_token in stop_tokens]
47
48 def __call__(self, input_ids, scores, **kwargs):
49 # Verifica si los últimos tokens generados coinciden con alguno de los conjuntos de tokens de parada
50 for stop_token_ids in self.stop_token_ids_list:
51 len_stop_tokens = len(stop_token_ids)
52 if len(input_ids[0]) >= len_stop_tokens:
53 if input_ids[0, -len_stop_tokens:].tolist() == stop_token_ids:
54 return True
55 return False
56
57# Uso del criterio de parada personalizado
58stop_tokens = ["<end_of_turn>"] # Lista de tokens de parada
59
60# Inicializa tu criterio de parada con el tokenizer y la lista de tokens de parada
61stopping_criteria = ListOfTokensStoppingCriteria(tokenizer, stop_tokens)
62
63# Añade tu criterio de parada a una StoppingCriteriaList
64stopping_criteria_list = StoppingCriteriaList([stopping_criteria])
65
66
67#EXAMPLE #1
68input_text = f"""<bos><start_of_turn>system
69You are a helpful AI assistant.<end_of_turn>
70<start_of_turn>user
71**News:**
72he Texas Blockchain Council (TBC) and Bitcoin mining firm Riot Platforms have won a favorable ruling from a United States District Judge in a lawsuit against several United States energy officials.
73On February 22, Cointelegraph reported that the TBC and Riot alleged the U.S. Department of Energy, Energy Information Administration (EIA), Office of Management and Budget (OMB) and their leadership sought an “invasive” data collection from cryptocurrency miners.
74According to a February 23 filing in the United States District Court for the Western District of Texas, the TBC and Riot convinced the judge that irreversible harm would happen without a temporary restraining order (TRO) against further data collection.
75As a result, the court enforced a TRO which prohibits the EIA from requiring crypto miners to respond to the survey, as well as prohibiting the EIA from sharing any data that has already been received from the survey.
76“The Court finds that Plaintiffs have shown through a verified complaint and supporting evidence that immediate and irreparable injury, loss, or damage will result if a TRO is not issued.”
77
78
79Instruccion:
80- responde en español.
81- has un análisis sobre el contexto de la noticia y buscar información relevante para poder responder satisfactoriamente.
82- has 5 preguntas importantes y sus respuestas.
83
84en español responde solo en json:
85```json
86{
87 "analisis_noticia": "",
88 "preguntas_respuestas": [
89 {
90 "pregunta": "",
91 "respuesta": ""
92 }
93 ]
94}```<end_of_turn>
95<start_of_turn>model
96"""
97
98inputs = tokenizer.encode(txt,
99 return_tensors="pt",
100 add_special_tokens=False).to("cuda:0")
101max_new_tokens=1500
102generation_config = GenerationConfig(
103 max_new_tokens=max_new_tokens,
104 temperature=0.15,
105 # top_p=0.55,
106 top_k=50,
107 repetition_penalty=1.1,
108 do_sample=True,
109 )
110outputs = base_model.generate(generation_config=generation_config,
111 input_ids=inputs,
112 stopping_criteria=stopping_criteria_list,)
113print(tokenizer.decode(outputs[0], skip_special_tokens=False) )'''
### OUTPUT EXAMPLE
<start_of_turn>model
{
"analisis_noticia": "Texas Blockchain Council and Bitcoin mining firm Riot Platforms have won a favorable ruling from a United States District Judge in a lawsuit against several United States energy officials.",
"preguntas_respuestas": [
{
"pregunta": "¿Cuál es el objetivo principal del Texas Blockchain Council?",
"respuesta": "El objetivo principal del Texas Blockchain Council es promover el uso de las tecnologías blockchain en Texas y en todo el mundo."
},
{
"pregunta": "¿Qué tipo de tecnología blockchain se utiliza más comúnmente en Texas?",
"respuesta": "La tecnología blockchain utilizada más comúnmente en Texas es la criptomoneda Bitcoin."
},
{
"pregunta": "¿Cómo se utilizan las criptomonedas en el ámbito empresarial y gubernamental en Texas?",
"respuesta": "Las criptomonedas son utilizadas por empresas y gobiernos gubernamentales en Texas para mejorar la eficiencia y seguridad en el proceso de pago."
},
{
"pregunta": "¿Qué medidas están siendo tomadas para proteger los derechos de propiedad intelectual y la privacidad de los ciudadanos en Texas?",
"respuesta": "Texas está trabajando junto con otras entidades gubernamentales y organizaciones empresariales para desarrollar leyes que protegen los derechos de propiedad intelectual y la privacidad de los ciudadanos."
},
{
"pregunta": "¿Cómo se espera que las nuevas tecnologías de blockchain impacten el futuro económico y social de Texas?",
"respuesta": "Se espera que estas nuevas tecnologías de blockchain tengan un impacto positivo en el futuro económico y social de Texas al permitir una mayor transparencia, eficiencia y seguridad en el sistema financiero."
}
]
}<end_of_turn>
'''