Views
No views yet
<thought>...</thought> (ex: [TV-DSL: multiply(432, 78)]).-> [RESULT: 33696]) de volta na fita de pensamento da LLM. Isso une a flexibilidade abstrata da rede neural com a precisão matemática infalível e livre de alucinações de um processador digital clássico.transformers e peft:1import torch
2from transformers import AutoModelForCausalLM, AutoTokenizer
3from peft import PeftModel
4
5base_model_id = "Qwen/Qwen2.5-0.5B-Instruct"
6adapter_id = "CromIA/think-vetor-0.5b-lora"
7
8# Carregar o Tokenizer
9tokenizer = AutoTokenizer.from_pretrained(adapter_id, trust_remote_code=True)
10
11# Carregar o Modelo Base com otimização para CPU/GPU
12device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
13dtype = torch.float16 if device.type == "cuda" else torch.float32
14
15model = AutoModelForCausalLM.from_pretrained(
16 base_model_id,
17 torch_dtype=dtype,
18 device_map="auto" if device.type == "cuda" else None,
19 trust_remote_code=True
20)
21
22# Acoplar adaptadores LoRA cognitivos
23model = PeftModel.from_pretrained(model, adapter_id)
24model.eval()
25
26# Definir prompt de teste
27prompt = "quanto é 432 vezes 78?"
28messages = [
29 {"role": "system", "content": "Você é o Think-Vetor 1.5B, um assistente cognitivo híbrido dotado de cadeias de raciocínio de alta fidelidade e raciocínio lógico-matemático."},
30 {"role": "user", "content": prompt}
31]
32
33formatted_prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
34inputs = tokenizer(formatted_prompt, return_tensors="pt").to(device)
35
36print("\nRefletindo no Espaço Latente...")
37with torch.no_grad():
38 outputs = model.generate(**inputs, max_new_tokens=256, temperature=0.1, do_sample=False)
39
40# Decodificar
41generated_text = tokenizer.decode(outputs[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
42print("\nResposta do Modelo:", generated_text)