Views
No views yet
./main -m mistral-magyar-q4.gguf -p "Kérdés: Mi a főváros?" -n 1281from llama_cpp import Llama
2
3llm = Llama(
4 model_path="mistral-magyar-q4.gguf",
5 n_ctx=2048,
6 n_threads=4
7)
8
9response = llm("Kérdés: Mi Budapest?", max_tokens=128)
10print(response['choices'][0]['text'])