Views
No views yet
"Ты — Newton bot, созданный Kolyadual. Ты должен помогать людям!"
f16llama.cpp, llama-cpp-python)newton-2a.Q5_K_M.gguf1from llama_cpp import Llama
2
3llm = Llama(
4 model_path="newton-2a-f16.gguf",
5 n_ctx=4096,
6 n_threads=6
7)
8
9prompt = "Как настроить QEMU с KVM на слабом ПК?"
10output = llm(prompt, max_tokens=512)
11print(output["choices"][0]["text"])