I recommend you to run this LORA with KoboldCPP if you need CPU, like me, to perform inference.
Below, my command to run this LORA with KoboldCPP:
python koboldcpp.py --launch --lora /ai/text/LORAs/ggml-alpaca-lora-ptbr-7b.bin
Recomendo que você execute este arquivo LORA com o KoboldCPP se precisa usar o CPU, como eu, para fazer inferências.
Abaixo, meu comando para executar este LORA com o KoboldCPP:
python koboldcpp.py --launch --lora /ai/text/LORAs/ggml-alpaca-lora-ptbr-7b.bin
LORAs X Models:
ggml-alpaca-lora-ptbr-7b.bin x MedAlpaca-7B-ggml-q4_0.bin -> Works OK, with a few errors of interpretation
ggml-alpaca-lora-ptbr-7b.bin x ggml-alpaca-7b-q4.bin -> Works very good! No relevant errors found
Example prompts in (Brazilian Portuguese) using LORA ggml-alpaca-lora-ptbr-7b.bin X model ggml-alpaca-7b-q4.bin:
qual remédio usar para dor de cabeça?
Para a dor de cabeça, o qual remédio utilizar depende do tipo de dor que se está experimentando. Seu médico pode recomendar algumas medicações como ibuprofeno, acetaminofen ou naproxen, dependendo da severidade da dor.
