Views
No views yet
| Name | Quant method | Size |
|---|---|---|
| Ko-Llama3-Luxia-8B-it.Q2_K.gguf | Q2_K | 3.04GB |
| Ko-Llama3-Luxia-8B-it.Q3_K_S.gguf | Q3_K_S | 3.5GB |
| Ko-Llama3-Luxia-8B-it.Q3_K.gguf | Q3_K | 3.83GB |
| Ko-Llama3-Luxia-8B-it.Q3_K_M.gguf | Q3_K_M | 3.83GB |
| Ko-Llama3-Luxia-8B-it.Q3_K_L.gguf | Q3_K_L | 4.11GB |
| Ko-Llama3-Luxia-8B-it.IQ4_XS.gguf | IQ4_XS | 4.27GB |
| Ko-Llama3-Luxia-8B-it.Q4_0.gguf | Q4_0 | 4.43GB |
| Ko-Llama3-Luxia-8B-it.IQ4_NL.gguf | IQ4_NL | 4.48GB |
| Ko-Llama3-Luxia-8B-it.Q4_K_S.gguf | Q4_K_S | 4.46GB |
| Ko-Llama3-Luxia-8B-it.Q4_K.gguf | Q4_K | 4.68GB |
| Ko-Llama3-Luxia-8B-it.Q4_K_M.gguf | Q4_K_M | 4.68GB |
| Ko-Llama3-Luxia-8B-it.Q4_1.gguf | Q4_1 | 4.88GB |
| Ko-Llama3-Luxia-8B-it.Q5_0.gguf | Q5_0 | 5.32GB |
| Ko-Llama3-Luxia-8B-it.Q5_K_S.gguf | Q5_K_S | 5.32GB |
| Ko-Llama3-Luxia-8B-it.Q5_K.gguf | Q5_K | 5.44GB |
| Ko-Llama3-Luxia-8B-it.Q5_K_M.gguf | Q5_K_M | 5.44GB |
| Ko-Llama3-Luxia-8B-it.Q5_1.gguf | Q5_1 | 5.76GB |
| Ko-Llama3-Luxia-8B-it.Q6_K.gguf | Q6_K | 6.25GB |
| Ko-Llama3-Luxia-8B-it.Q8_0.gguf | Q8_0 | 8.1GB |
1<|im_start|>system
2You are a helpful assistant.<|im_end|>
3<|im_start|>user
4What is the Qwen2?<|im_end|>
5<|im_start|>assistant
6Qwen2 is the new series of Qwen large language models<|im_end|>
7<|im_start|>user
8Tell me more<|im_end|>
9<|im_start|>assistant1model_id = "lubocido/Ko-Llama3-Luxia-8B-it"
2device = "cuda:0"
3
4tokenizer = AutoTokenizer.from_pretrained(model_id)
5model = AutoModelForCausalLM.from_pretrained(model_id,, device_map = device, torch_dtype = torch.bfloat16)
6
7tokenizer.padding_side = 'right'
8tokenizer.pad_token = tokenizer.eos_token
9
10sys_message = """당신은 친절한 챗봇으로서 상대방의 요청에 최대한 자세하고 친절하게 답해야합니다.
11사용자가 제공하는 정보를 세심하게 분석하여 사용자의 의도를 신속하게 파악하고 그에 따라 답변을 생성해야합니다.
12항상 매우 자연스러운 한국어로 응답하세요."""
13
14question = "리눅스에서 프로세스를 죽이는 명령어가 뭐지?"
15
16template = """
17<|im_start|>system\n{sys_message}<|im_end|>
18<|im_start|>user\n{question}<|im_end|>
19<|im_start|>assistant
20"""
21
22input_data = {
23 'sys_message' : sys_message,
24 'question' : question,
25}
26
27prompt = PromptTemplate(template=template, input_variables=['sys_message', 'question'])
28
29pipe = pipeline('text-generation', model=model, tokenizer=tokenizer, device_map=device, do_sample = True, max_length = 512, temperature = 0.1, repetition_penalty=1.2, num_beams=1,top_k=20,top_p=0.9)
30
31langchain_pipeline = HuggingFacePipeline(pipeline=pipe)
32
33chains = LLMChain(llm=langchain_pipeline, prompt=prompt, output_parser=StrOutputParser(), verbose=True)
34
35print(chains.invoke(input=input_data)['text'])<|im_start|>user
리눅스에서 프로세스를 죽이는 명령어가 뭐지?<|im_end|>
<|im_start|>assistant
프로세스는 운영 체제가 실행 중인 프로그램으로, 프로세스 ID(PID)라는 고유한 식별자를 가지고 있습니다.
프로세스가 종료되면 시스템 자원이 해제됩니다. 리눅스의 경우 kill 명령어를 통해 프로세스를 종료할 수 있으며, 이 명령어는 PID 또는 이름과 같은 다양한 방법으로 프로세스를 찾아서 종료시킬 수 있습니다.
또한 SIGKILL 신호를 보내거나 -9 옵션을 사용하면 강제적으로 프로세스를 종료할 수도 있습니다.
그러나 일부 프로세스는 강제 종료될 때 문제를 일으킬 수 있으므로 주의해서 사용해야 합니다.<|im_end|>