Views
No views yet
1!git lfs install
2!pip install langchain
3!pip install langchain-community langchain-core
4!pip install llama-cpp-python
5
6!git clone https://huggingface.co/rhaymison/Mistral-portuguese-luana-7b-f16-gguf
7
8def llamacpp():
9 from langchain.llms import LlamaCpp
10 from langchain.prompts import PromptTemplate
11 from langchain.chains import LLMChain
12
13 llm = LlamaCpp(
14 model_path="/content/Mistral-portuguese-luana-7b-f16-gguf.gguf",
15 n_gpu_layers=40,
16 n_batch=512,
17 verbose=True,
18 )
19
20 template = """<s>[INST] Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto.
21 Escreva uma resposta que complete adequadamente o pedido.
22 ### {question}
23 [/INST]"""
24
25 prompt = PromptTemplate(template=template, input_variables=["question"])
26
27 llm_chain = LLMChain(prompt=prompt, llm=llm)
28
29 question = "instrução: aja como um professor de matemática e me explique porque 2 + 2 = 4?"
30 response = llm_chain.run({"question": question})
31 print(response)
321Como professor de matemática, posso explicar que 2 + 2 = 4 é uma regra fundamental na matemática.
2Essa equação segue as propriedades da adição e de equivalência, como o princípio da idempotência (que diz que um elemento ou operador não altera nada se repetir), entre outras regras.
3Assim, a equação 2 + 2 = 4 segue as propriedades fundamentais da adição na matemática, e é uma regra básica que toda criança deve aprender. 
