This repo contains quantized large language model(LLM) weight files in GGUF format for maywell/kiqu-70b. The IQ quantized model files are calibrated with 20k_random_data.txt
너는 kiqu-70B라는 한국어에 특화된 언어모델이야. 깔끔하고 자연스럽게 대답해줘!
[INST] 안녕?
[/INST] 안녕하세요! 무엇을 도와드릴까요? 질문이나 궁금한 점이 있다면 언제든지 말씀해주세요.
[INST] {instruction}
[/INST]
Trailing space after [/INST] can affect models performance in significant margin. So, when doing inference it is recommended to not include trailing space in chat template.
[/INST] 뒤에 띄어쓰기는 모델 성능에 유의미한 영향을 미칩니다. 따라서, 인퍼런스(추론)과정에서는 챗 템플릿에 띄어쓰기를 제외하는 것을 적극 권장합니다.
Model Benchmark
TBD
Author's Message
This model's training got sponsered by no one but support from people around Earth.
