from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel
import torch

# 베이스 모델 로드
base_model = "meta-llama/Meta-Llama-3-8B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(base_model)
model = AutoModelForCausalLM.from_pretrained(
    base_model,
    torch_dtype=torch.float16,
    device_map="auto"
)

# LoRA 어댑터 적용
model = PeftModel.from_pretrained(model, "2shlee/llama3-8b-ko-chat-v1")

# 추론
messages = [{"role": "user", "content": "안녕하세요!"}]
input_text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=256, temperature=0.7)
    
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

With vLLM (Production)

bash

python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Meta-Llama-3-8B-Instruct \
    --enable-lora \
    --lora-modules ko-chat=2shlee/llama3-8b-ko-chat-v1

Intended Uses

한국어 대화형 AI 서비스
챗봇 어시스턴트
Q&A 시스템
텍스트 생성

Limitations

베이스 모델(LLaMA 3)의 일반적인 한계점 적용
학습 데이터에 없는 도메인에서는 성능이 저하될 수 있음
실시간 정보나 최신 지식이 필요한 질문에는 부적합

License

이 모델은 Llama 3 Community License를 따릅니다.

Acknowledgements

Built with Meta Llama 3

Citation

bibtex

@misc{2shlee_llama3_8b_ko_chat_v1},
  author = {shlee},
  title = {2shlee/llama3-8b-ko-chat-v1},
  year = {2026},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/2shlee/llama3-8b-ko-chat-v1}}
}