PolloLOL/

LLaMA_3.2_1B_quantized

!pip install llama-cpp-python
from llama_cpp import Llama

llm = Llama.from_pretrained(
	repo_id="PolloLOL/LLaMA_3.2_1B_quantized",
	filename="unsloth_Llama-3.2-1B-Q2_K.gguf",
)

output = llm(
	"Once upon a time,",
	max_tokens=512,
	echo=True
)
print(output)