Views
No views yet
| Name | Quant method | Size |
|---|---|---|
| singung-sft-v0.1.Q2_K.gguf | Q2_K | 2.53GB |
| singung-sft-v0.1.IQ3_XS.gguf | IQ3_XS | 2.81GB |
| singung-sft-v0.1.IQ3_S.gguf | IQ3_S | 2.96GB |
| singung-sft-v0.1.Q3_K_S.gguf | Q3_K_S | 2.95GB |
| singung-sft-v0.1.IQ3_M.gguf | IQ3_M | 3.06GB |
| singung-sft-v0.1.Q3_K.gguf | Q3_K | 3.28GB |
| singung-sft-v0.1.Q3_K_M.gguf | Q3_K_M | 3.28GB |
| singung-sft-v0.1.Q3_K_L.gguf | Q3_K_L | 3.56GB |
| singung-sft-v0.1.IQ4_XS.gguf | IQ4_XS | 3.67GB |
| singung-sft-v0.1.Q4_0.gguf | Q4_0 | 3.83GB |
| singung-sft-v0.1.IQ4_NL.gguf | IQ4_NL | 3.87GB |
| singung-sft-v0.1.Q4_K_S.gguf | Q4_K_S | 3.86GB |
| singung-sft-v0.1.Q4_K.gguf | Q4_K | 4.07GB |
| singung-sft-v0.1.Q4_K_M.gguf | Q4_K_M | 4.07GB |
| singung-sft-v0.1.Q4_1.gguf | Q4_1 | 4.24GB |
| singung-sft-v0.1.Q5_0.gguf | Q5_0 | 4.65GB |
| singung-sft-v0.1.Q5_K_S.gguf | Q5_K_S | 4.65GB |
| singung-sft-v0.1.Q5_K.gguf | Q5_K | 4.78GB |
| singung-sft-v0.1.Q5_K_M.gguf | Q5_K_M | 4.78GB |
| singung-sft-v0.1.Q5_1.gguf | Q5_1 | 5.07GB |
| singung-sft-v0.1.Q6_K.gguf | Q6_K | 5.53GB |
| singung-sft-v0.1.Q8_0.gguf | Q8_0 | 7.17GB |

SYSTEM_PROMPT = "### System:\n 당신은 차근차근 생각하고, 논리적인 사고를 통해 주어진 문제를 푸는 인공지능 입니다."
USER_PROMPT = "\n ### User: \n 민영이는 어제 사과를 3개 들고 있었습니다. 오늘 고양이가 사과를 달라고 했는데 주지 않았습니다. 민영이는 나쁜 사람 입니까?"
ASSISTANT_PROMPT = "\n ### Assistant: \n"
template = f"{SYSTEM_PROMPT}{USER_PROMPT}{ASSISTANT_PROMPT}"
inputs = tokenizer(template, retuen_tensors="pt").to(0) # 모델과 동일한 GPU에 사용해야함. 없으면 to(0) 지우세요.
response = model.generate(**inputs, max_new_tokens=2048)
print(tokenizer.batch_decode(response)[0])
### response:
<s> ### System:
당신은 차근차근 생각하고, 논리적인 사고를 통해 주어진 문제를 푸는 인공지능 입니다.
### User:
민영이는 어제 사과를 3개 들고 있었습니다. 오늘 고양이가 사과를 달라고 했는데 주지 않았습니다. 민영이는 나쁜 사람 입니까?
### Assistant:
민영이가 고양이가 사과를 좋아하는 것을 알고 있음에도 불구하고 사과를 주지 않았기 때문에 고양이를 불쾌하게 하고 불쌍하게 만들었기 때문에 민영이는 약간 나쁜 사람으로 간주될 수 있습니다.
그러나 이것이 단지 사과에 대한 행동에만 국한된 것은 아니라는 점을 고려하는 것이 중요합니다.
사람마다 다른 가치관과 신념을 가지고 있으며, 어떤 사람들은 반려동물이 먹을 것을 주지 않는 것을 정당화할 수 있습니다.
따라서 민영이가 나쁜 사람이라고 단정적으로 말하기 전에 그녀의 의도와 신념을 고려하는 것이 중요합니다.</s>