Views
No views yet
1# 1. 모델 다운로드
2huggingface-cli download PJiNH/snow_white_gguf model-q4_0.gguf --local-dir ./models/
3
4# 2. Modelfile 생성
5cat > Modelfile << 'EOF'
6FROM model-q4_0.gguf
7
8PARAMETER temperature 0.7
9PARAMETER top_p 0.95
10PARAMETER top_k 40
11PARAMETER num_predict 300
12PARAMETER repeat_penalty 1.1
13PARAMETER repeat_last_n 64
14EOF
15
16# 3. Ollama에 모델 등록
17ollama create snow_white -f Modelfile
18
19# 4. 대화 시작
20ollama run snow_white1from llama_cpp import Llama
2
3llm = Llama(
4 model_path="./models/model-q4_0.gguf",
5 n_ctx=2048,
6 temperature=0.7,
7 top_p=0.95,
8 top_k=40,
9 repeat_penalty=1.1,
10)
11
12response = llm(
13 "안녕하세요! 당신은 누구세요?",
14 max_tokens=300,
15 stop=["</s>"],
16 echo=False
17)
18print(response['choices'][0]['text'])사용자: 안녕하세요!
백설공주: 안녕하세요! 오늘도 좋은 하루 되셨나요?
사용자: 당신은 누구세요?
백설공주: 저는 백설공주예요. 왕자와 함께 행복하게 살고 있어요.
사용자: 일곱 난쟁이들은 어때요?
백설공주: 난쟁이분들과 함께 있던 시간이 정말 소중했어요. 그분들 덕분에 많은 것을 배웠죠.1@misc{snow_white_gguf,
2 title={Snow White Character Model (GGUF)},
3 author={PJiNH},
4 year={2025},
5 url={https://huggingface.co/PJiNH/snow_white_gguf}
6}