Views
No views yet
CodeLlama-7b-Instruct-hf, especializado en generar ejercicios educativos de Python para ciencia de datos con formato estructurado.## OBJETIVO## DATASET## CODIGO## EXPLICACIONrows) y sin lecturas de archivos.llama2)codellama/CodeLlama-7b-Instruct-hf1import torch
2from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
3from peft import PeftModel
4
5base_model = "codellama/CodeLlama-7b-Instruct-hf"
6adapter_path = "TU_USUARIO/codellama-edugen-v2"
7
8bnb_config = BitsAndBytesConfig(
9 load_in_4bit=True,
10 bnb_4bit_quant_type="nf4",
11 bnb_4bit_use_double_quant=True,
12 bnb_4bit_compute_dtype=torch.float16,
13)
14
15tokenizer = AutoTokenizer.from_pretrained(adapter_path)
16if tokenizer.pad_token is None and tokenizer.eos_token is not None:
17 tokenizer.pad_token = tokenizer.eos_token
18
19model = AutoModelForCausalLM.from_pretrained(
20 base_model,
21 device_map="auto",
22 torch_dtype=torch.float16,
23 quantization_config=bnb_config,
24)
25model = PeftModel.from_pretrained(model, adapter_path)
26model.eval()