llama-cli \
    --temp 0.5 \
    --ctx-size 2048 \
    --repeat-penalty 1.2 \
    --repeat-last-n 256 \
    --frequency-penalty 0.5 \
    --presence-penalty 0.5 \
    --model "ptn-8B-q4km.gguf"

As alternative run the local web-server chat:

shell

llama-server \
    --temp 0.5 \
    --ctx-size 2048 \
    --repeat-penalty 1.2 \
    --repeat-last-n 256 \
    --frequency-penalty 0.5 \
    --presence-penalty 0.5 \
    --host 127.0.0.1 \
    --port 8080 \
    --model "ptn-8B-q4km.gguf"

ollama

Download the ptn-8B-q4km.gguf file and the ptn-8B-q4km.ollama file

Create a local model first:

ollama create ptn-8B-q4km -f ./ptn-8B-q4km.ollama

Run the model:

ollama run ptn-8B-q4km

example

Q: как лучше всего пропатчить KDE под FreeBSD?

A: Не знаю, не могу вам сказать. Это очень специальные вещи и вопросы: как правильно настроить то или другое программное обеспечение на той либо иной платформе – это уже специалисты должны заниматься конкретно этим продуктом в данной операционной системе.

mazurkin/ptn-GGUF

github

llama.cpp

ollama

example

mazurkin/
ptn-GGUF